TPU v6e

Questo documento descrive l'architettura e le configurazioni supportate di Cloud TPU v6e (Trillium).

Trillium è l'acceleratore AI di ultima generazione di Cloud TPU. Su tutte le superfici tecniche, come l'API e i log, e in tutto questo documento, Trillium verrà indicato come v6e.

Con un footprint di 256 chip per pod, v6e condivide molte somiglianze con v5e. Questo sistema è ottimizzato per essere il prodotto di maggior valore per l'addestramento, l'ottimizzazione e la pubblicazione di transformer, modelli di sintesi di immagini a partire da testo e reti neurali convoluzionali (CNN).

Architettura di sistema

Ogni chip v6e contiene un TensorCore. Ogni Tensor Core ha due unità di moltiplicazione a matrice (MXU), un'unità vettoriale e un'unità scalare. La seguente tabella mostra le specifiche chiave e i relativi valori per la TPU v6e rispetto alla TPU v5e.

Configurazioni supportate

La tabella seguente mostra le forme delle sezioni 2D supportate per v6e:

Gli slice con 8 chip (v6e-8) collegati a una singola VM sono ottimizzati per l'inferenza, consentendo l'utilizzo di tutti gli 8 chip in un singolo carico di lavoro di servizio. Puoi eseguire l'inferenza multihost utilizzando Pathways su Cloud. Per ulteriori informazioni, vedi Eseguire l'inferenza multihost utilizzando Pathways

Per informazioni sul numero di VM per ogni topologia, consulta Tipi di VM.

Tipi di VM

Ogni VM TPU v6e può contenere 1, 4 o 8 chip. Le sezioni da 4 chip e più piccole hanno lo stesso nodo NUMA (accesso alla memoria non uniforme). Per saperne di più sui nodi NUMA, consulta la pagina Non-uniform memory access su Wikipedia.

Le sezioni v6e vengono create utilizzando VM metà host, ciascuna con 4 chip TPU. Esistono due eccezioni a questa regola:

• v6e-1: una VM con un solo chip, pensata principalmente per i test
• v6e-8: una VM full-host ottimizzata per un caso d'uso di inferenza con tutti gli 8 chip collegati a una singola VM.

La tabella seguente mostra un confronto tra i tipi di VM TPU v6e:

Specifica la configurazione v6e

Quando allochi una sezione TPU v6e utilizzando l'API TPU, ne specifichi le dimensioni e la forma utilizzando il parametro AcceleratorType.

Se utilizzi GKE, utilizza il flag --machine-type per specificare un tipo di macchina che supporti la TPU che vuoi utilizzare. Per maggiori informazioni, consulta la sezione Pianificare le TPU in GKE nella documentazione di GKE.

Utilizza AcceleratorType

Quando allochi risorse TPU, utilizzi AcceleratorType per specificare il numero di TensorCore in una sezione. Il valore specificato per AcceleratorType è una stringa con il formato: v$VERSION-$TENSORCORE_COUNT. Ad esempio, v6e-8 specifica una sezione TPU v6e con 8 TensorCore.

Il seguente esempio mostra come creare una sezione TPU v6e con 32 TensorCore utilizzando AcceleratorType:

    $ gcloud compute tpus tpu-vm create tpu-name \
        --zone=zone \
        --accelerator-type=v6e-32 \
        --version=v2-alpha-tpuv6e

Passaggi successivi

• Esegui l'addestramento e l'inferenza utilizzando TPU v6e