TPU v5p

In diesem Dokument werden die Architektur und die unterstützten Konfigurationen von Cloud TPU v5p beschrieben.

Systemarchitektur

In diesem Abschnitt wird die Systemarchitektur speziell für die Version v5p beschrieben. Jeder TensorCore hat vier MXUs (Matrix Multiply Units), eine Vektoreinheit und eine Skalareinheit.

Ein einzelner v5p-Slice enthält 8.960 Chips. Der größte Job, der geplant werden kann, ist ein Job mit 96 Cubes (6.144 Chips).

In der folgenden Tabelle sind die wichtigsten Spezifikationen für v5p aufgeführt.

Konfigurationen

Ein TPU v5p-Pod besteht aus 8.960 Chips, die über rekonfigurierbare Hochgeschwindigkeitsverbindungen miteinander verbunden sind. Die flexible Vernetzung von TPU v5p ermöglicht Ihnen, die Chips in einem Slice derselben Größe auf verschiedene Arten zu verbinden. Wenn Sie mit dem Befehl gcloud compute tpus tpu-vm create einen TPU-Slice erstellen, geben Sie den Typ und die Form mit dem Parameter AcceleratorType an.

In der folgenden Tabelle sind die gängigsten Formen für einzelne Slices aufgeführt, die bei v5p unterstützt werden, sowie die meisten (aber nicht alle) Formen für vollständige Cubes mit mehr als einem Cube. Die maximale v5p-Form ist 16x16x24 (6.144 Chips, 96 Cubes).

Das Training mit einem einzelnen Slice wird für bis zu 6.144 Chips unterstützt. Mit Multislice können Sie auf bis zu 18.432 Chips hochskalieren. Weitere Informationen zu Multislice finden Sie unter Cloud TPU-Multislice – Übersicht.

AcceleratorType-Parameter verwenden

Wenn Sie TPU-Ressourcen zuweisen, verwenden Sie das Argument --accelerator-type, um die Anzahl der TensorCores in einem Slice anzugeben. --accelerator-type ist ein String mit dem Format „v$VERSION_NUMBERp-$CORES_COUNT“. v5p-32 gibt beispielsweise einen v5p-TPU-Slice mit 32 TensorCores (16 Chips) an.

Wenn Sie TPUs für einen v5p-Trainingsjob bereitstellen möchten, verwenden Sie einen der folgenden Beschleunigertypen in Ihrer CLI- oder TPU-API-Erstellungsanfrage:

• v5p‑8
• v5p‑16
• v5p‑32
• v5p‑64
• v5p‑128 (ein vollständiger Cube / ein vollständiges Rack)
• v5p‑256 (2 Cubes)
• v5p‑512
• v5p‑1024 … v5p‑12288

Mit dem folgenden Befehl wird ein v5p‑TPU-Slice mit 256 v5p-TensorCores (128 Chips) für das Training erstellt:

  $ gcloud compute tpus tpu-vm create your-tpu-name \
    --zone=us-east5-a \
    --accelerator-type=v5p-256 \
    --version=v2-alpha-tpuv5

Weitere Informationen zum Verwalten von TPUs finden Sie unter TPU-Ressourcen verwalten. Weitere Informationen zur Systemarchitektur von Cloud TPU finden Sie unter TPU-Architektur.

Cloud TPU-ICI-Ausfallsicherheit

Die ICI-Ausfallsicherheit trägt zur Verbesserung der Fehlertoleranz von optischen Verbindungen und optischen Schaltern (Optical Circuit Switches, OCS) bei, die TPUs zwischen Cubes verbinden. (Für ICI-Verbindungen innerhalb eines Cubes werden Kupferverbindungen verwendet, die nicht betroffen sind.) Die ICI-Ausfallsicherheit ermöglicht es, ICI-Verbindungen um OCS und optische ICI-Fehler herumzuleiten. Dadurch wird die Planungsverfügbarkeit von TPU-Slices verbessert, allerdings auf Kosten einer vorübergehenden Beeinträchtigung der ICI-Leistung.

Ähnlich wie bei Cloud TPU v4 ist die ICI-Ausfallsicherheit standardmäßig für v5p-Slices aktiviert, die mindestens einen Cube umfassen:

• v5p‑128 bei Angabe des Beschleunigertyps
• 4x4x4 bei der Angabe der Beschleunigerkonfiguration

VM-, Host- und Slice-Attribute

Beziehung zwischen der Anzahl der TensorCores, Chips, Hosts/VMs und Cubes in einem Pod: