TPU v5p

Questo documento descrive l'architettura e le configurazioni supportate di Cloud TPU v5p.

Architettura di sistema

Questa sezione descrive l'architettura di sistema specifica della versione v5p. Ogni Tensor Core ha quattro unità di moltiplicazione a matrice (MXU), un'unità vettoriale e un'unità scalare.

Ci sono 8960 chip in una singola sezione v5p. Il job più grande che può essere pianificato è un job di 96 cubi (6144 chip).

La tabella seguente mostra le specifiche chiave per un v5p.

Configurazioni

Un pod TPU v5p è composto da 8960 chip interconnessi con collegamenti riconfigurabili ad alta velocità. Il networking flessibile di TPU v5p ti consente di connettere i chip in una sezione delle stesse dimensioni in più modi. Quando crei una sezione TPU utilizzando il comando gcloud compute tpus tpu-vm create, specifichi il tipo e la forma utilizzando il parametro AcceleratorType.

La tabella seguente mostra le forme a una sola fetta più comuni supportate con v5p, oltre alla maggior parte (ma non tutte) delle forme a cubo intero maggiori di un cubo. La forma massima v5p è 16x16x24 (6144 chip, 96 cubi).

L'addestramento a una sola fetta è supportato per un massimo di 6144 chip. Puoi scalare fino a 18.432 chip utilizzando Multislice. Per saperne di più su Multislice, consulta la panoramica di Cloud TPU Multislice.

Utilizzo del parametro AcceleratorType

Quando allochi risorse TPU, utilizzi l'argomento --accelerator-type per specificare il numero di TensorCore in una sezione. --accelerator-type è una stringa formattata "v$VERSION_NUMBERp-$CORES_COUNT". Ad esempio, v5p-32 specifica una sezione TPU v5p con 32 TensorCore (16 chip).

Per eseguire il provisioning delle TPU per un job di addestramento v5p, utilizza uno dei seguenti tipi di acceleratore nella richiesta di creazione dell'API TPU o della CLI:

• v5p-8
• v5p-16
• v5p-32
• v5p-64
• v5p-128 (un cubo/rack completo)
• v5p-256 (2 cubi)
• v5p-512
• v5p-1024 ... v5p-12288

Il comando seguente crea uno slice TPU v5p con 256 TensorCore v5p (128 chip) per l'addestramento:

  $ gcloud compute tpus tpu-vm create your-tpu-name \
    --zone=us-east5-a \
    --accelerator-type=v5p-256 \
    --version=v2-alpha-tpuv5

Per saperne di più sulla gestione delle TPU, consulta Gestire le TPU. Per ulteriori informazioni sull'architettura di sistema di Cloud TPU, consulta la sezione Architettura di sistema.

Resilienza dell'ICI di Cloud TPU

La resilienza dell'ICI contribuisce a migliorare la tolleranza agli errori dei collegamenti ottici e degli switch di circuiti ottici (OCS) che collegano le TPU tra i cubi. (le connessioni ICI all'interno di un cubo utilizzano collegamenti in rame che non sono interessati). La resilienza ICI consente di instradare le connessioni ICI intorno a OCS e ai guasti ottici ICI. Di conseguenza, migliora la disponibilità di pianificazione degli slice TPU, con il compromesso di un peggioramento temporaneo delle prestazioni dell'ICI.

Analogamente a Cloud TPU v4, la resilienza ICI è abilitata per impostazione predefinita per le sezioni v5p che sono un cubo o più grandi:

• v5p-128 quando specifichi il tipo di acceleratore
• 4x4x4 quando specifichi la configurazione dell'acceleratore

Proprietà di VM, host e slice

Relazione tra il numero di Tensor Core, chip, host/VM e cubi in un pod: