TPU v5p

In diesem Dokument werden die Architektur und die unterstützten Konfigurationen von Cloud TPU v5p beschrieben.

Systemarchitektur

In diesem Abschnitt wird die Systemarchitektur beschrieben, die speziell für die Version 5p gilt. Jeder TensorCore hat vier Matrix Multiply Units (MXU), eine Vektoreinheit und eine Skalareinheit.

Ein einzelnes v5p-Speicher-Slice enthält 8.960 Chips. Der größte Job, der geplant werden kann, ist ein Job mit 96 Würfeln (6.144 Chips).

In der folgenden Tabelle sind die wichtigsten Spezifikationen für eine v5p aufgeführt.

Konfigurationen

Ein TPU v5p-Pod besteht aus 8.960 Chips, die über rekonfigurierbare Hochgeschwindigkeitsverbindungen miteinander verbunden sind. Dank der flexiblen Vernetzung von TPU v5p können Sie die Chips in einem Slice derselben Größe auf verschiedene Arten verbinden. Wenn Sie ein TPU-Speicher-Slice mit dem Befehl gcloud compute tpus tpu-vm create erstellen, geben Sie den Typ und die Form mit dem Parameter AcceleratorType an.

In der folgenden Tabelle sind die gängigsten Formen mit einer einzelnen Scheibe aufgeführt, die mit v5p unterstützt werden, sowie die meisten (aber nicht alle) Formen mit mehreren Würfeln. Die maximale v5p-Form ist 16 × 16 × 24 (6.144 Chips, 96 Würfel).

Das Training mit einer einzelnen Spule wird für bis zu 6.144 Chips unterstützt. Mit Multislice können Sie bis zu 18.432 Chips skalieren. Weitere Informationen zu Multislice finden Sie unter Cloud TPU Multislice – Übersicht.

Parameter „AcceleratorType“ verwenden

Wenn Sie TPU-Ressourcen zuweisen, geben Sie mit dem Argument --accelerator-type die Anzahl der TensorCores in einem Slice an. --accelerator-type ist ein formatierter String „v$VERSION_NUMBERp-$CORES_COUNT“. v5p-32 gibt beispielsweise ein TPU-Segment vom Typ v5p mit 32 TensorCores (16 Chips) an.

Wenn Sie TPUs für einen v5p-Trainingsjob bereitstellen möchten, verwenden Sie in Ihrer CLI- oder TPU API-Erstellungsanfrage einen der folgenden Beschleunigertypen:

• v5p-8
• v5p-16
• v5p-32
• v5p-64
• v5p-128 (ein vollständiger Würfel/Rack)
• v5p-256 (2 Würfel)
• v5p-512
• v5p-1024…v5p-12288

Mit dem folgenden Befehl wird ein TPU-Speichereinsatz vom Typ v5p mit 256 v5p-Chips für das Training erstellt:

  $ gcloud compute tpus tpu-vm create your-tpu-name \
    --zone=us-east5-a \
    --accelerator-type=v5p-256 \
    --version=v2-alpha-tpuv5

Weitere Informationen zum Verwalten von TPUs finden Sie unter TPUs verwalten. Weitere Informationen zur Systemarchitektur von Cloud TPU finden Sie unter Systemarchitektur.

Cloud TPU-Resilienz bei ICI

Die ICI-Resilienz trägt dazu bei, die Fehlertoleranz optischer Verbindungen und optischer Schalter (Optical Circuit Switches, OCS) zu verbessern, die TPUs zwischen den Würfeln verbinden. ICI-Verbindungen innerhalb eines Würfels verwenden Kupferverbindungen, die nicht betroffen sind. Durch die ICI-Ausfallsicherheit können ICI-Verbindungen um OCS- und optische ICI-Fehler herumgeleitet werden. Dadurch wird die Planungsverfügbarkeit von TPU-Scheiben verbessert, was jedoch zu vorübergehenden Leistungseinbußen bei der ICI führt.

Ähnlich wie bei Cloud TPU v4 ist die ICI-Resilienz standardmäßig für v5p-Segmente aktiviert, die mindestens ein Würfel sind:

• v5p-128 bei Angabe des Beschleunigertyps
• 4x4x4 bei Angabe der Beschleunigerkonfiguration

VM-, Host- und Sliver-Attribute

Beziehung zwischen der Anzahl der Tensorkerne, Chips, Hosts/VMs und Würfel in einem Pod: