Supporto di Dataflow per le TPU

Le TPU di Google Cloud Platform sono acceleratori AI progettati su misura creati da Google e ottimizzati per l'addestramento e l'utilizzo di modelli AI di grandi dimensioni. Sono progettate per scalare in modo economico per un'ampia gamma di carichi di lavoro AI e offrono la versatilità per accelerare i carichi di lavoro di inferenza sui framework AI, tra cui PyTorch, JAX e TensorFlow. Per ulteriori dettagli sulle TPU, consulta Introduzione alla TPU di Google Cloud.

Prerequisiti per l'utilizzo delle TPU in Dataflow

  • I tuoi Google Cloud progetti devono essere approvati per utilizzare questa offerta GA.

Limitazioni

Questa offerta è soggetta alle seguenti limitazioni:

  • Sono supportati solo gli acceleratori TPU a singolo host: l'offerta Dataflow TPU supporta solo le configurazioni TPU a singolo host in cui ogni worker Dataflow gestisce uno o più dispositivi TPU non interconnessi con le TPU gestite da altri worker.
  • Sono supportati solo i pool di worker TPU omogenei: funzionalità come il dimensionamento corretto di Dataflow e Dataflow Prime non supportano i carichi di lavoro TPU.

Prezzi

I job Dataflow che utilizzano le TPU vengono fatturati in base alle ore di utilizzo dei chip TPU dei worker e non in base alla CPU e alla memoria dei worker. Per ulteriori informazioni, consulta la pagina dei prezzi di Dataflow.

Disponibilità

Sono disponibili i seguenti acceleratori TPU e regioni di elaborazione.

Acceleratori TPU supportati

Le combinazioni di acceleratori TPU supportate sono identificate dalla tupla (tipo di TPU, topologia TPU).

  • Tipo di TPU si riferisce al modello del dispositivo TPU.
  • La topologia TPU si riferisce al numero e alla disposizione fisica dei chip TPU in una sezione.

Per configurare il tipo e la topologia delle TPU per i worker Dataflow, utilizza l'opzione worker_accelerator pipeline formattata come type:TPU_TYPE;topology:TPU_TOPOLOGY.

Le seguenti configurazioni TPU sono supportate con Dataflow:

Tipo di TPU Topologia Obbligatorio worker_machine_type
tpu-v5-lite-podslice 1x1 ct5lp-hightpu-1t
tpu-v5-lite-podslice 2x2 ct5lp-hightpu-4t
tpu-v5-lite-podslice 2x4 ct5lp-hightpu-8t
tpu-v6e-slice 1x1 ct6e-standard-1t
tpu-v6e-slice 2x2 ct6e-standard-4t
tpu-v6e-slice 2x4 ct6e-standard-8t
tpu-v5p-slice 2x2x1 ct5p-hightpu-4t

Regioni

Per informazioni sulle regioni e sulle zone disponibili per le TPU, consulta Regioni e zone TPU nella documentazione di Cloud TPU.

Passaggi successivi