Le larghezze di banda di rete più elevate possono migliorare le prestazioni delle istanze GPU per supportare i carichi di lavoro distribuiti in esecuzione su Compute Engine.
La larghezza di banda di rete massima disponibile per le istanze con GPU collegate su Compute Engine è la seguente:
- Per le istanze ottimizzate per l'acceleratore A4 e A3, puoi ottenere una larghezza di banda massima della rete fino a 3600 Gbps, in base al tipo di macchina.
- Per le istanze A2 e G2 ottimizzate per l'acceleratore, puoi ottenere una larghezza di banda di rete massima fino a 100 Gbps, in base al tipo di macchina.
- Per le istanze generiche N1 a cui sono collegate GPU P100 e P4, è disponibile una larghezza di banda di rete massima di 32 Gbps. Questo valore è simile alla frequenza massima disponibile per le istanze N1 a cui non sono associate GPU. Per ulteriori informazioni sulle larghezze di banda di rete, consulta la sezione relativa alla velocità in uscita massima dei dati.
- Per le istanze N1 per uso generale con GPU T4 e V100 collegate, puoi ottenere una larghezza di banda di rete massima fino a 100 Gbps, in base alla combinazione di GPU e vCPU.
Controlla la larghezza di banda della rete e la disposizione delle NIC
Utilizza la sezione seguente per esaminare la disposizione della rete e la velocità della larghezza di banda per ciascun tipo di macchina GPU.
Tipi di macchine A4 e A3 Ultra
I tipi di macchine A4 hanno GPU NVIDIA B200 collegate e i tipi di macchine A3 Ultra hanno GPU NVIDIA H200 da 141 GB collegate.
Questi tipi di macchine forniscono otto schede di interfaccia di rete (NIC) NVIDIA ConnectX-7 (CX7) e due NIC virtuali di Google (gVNIC). Le otto NIC CX7 offrono una larghezza di banda di rete totale di 3200 Gbps. Queste NIC sono dedicate solo alla comunicazione GPU-GPU ad alta larghezza di banda e non possono essere utilizzate per altre esigenze di rete come l'accesso a internet pubblico. Come illustrato nel seguente diagramma, ogni NIC CX7 è allineata a una GPU per ottimizzare l'accesso alla memoria non uniforme (NUMA). Tutte e otto le GPU possono comunicare rapidamente tra loro utilizzando il bridge all to all NVLink che le connette. Le altre due schede di interfaccia di rete gVNIC sono NIC intelligenti che forniscono altri 400 Gbps di larghezza di banda di rete per i requisiti di rete generici. Combinate, le schede di interfaccia di rete forniscono una larghezza di banda di rete massima totale di 3600 Gbps per queste macchine.
Per utilizzare queste più NIC, devi creare tre reti Virtual Private Cloud come segue:
- 2 reti VPC: ogni NIC gVNIC deve essere collegata a una rete VPC diversa
- 1 rete VPC per RDMA : tutte e otto le NIC CX7 condividono la stessa rete VPC
Per configurare queste reti, consulta Creare reti VPC nella documentazione dell'ipercomputer AI.
VM A4
| Tipo di macchina | Conteggio GPU | Memoria GPU* (GB HBM3e) |
Numero di vCPU† | Memoria VM (GB) | SSD locale collegata (GiB) | Numero di NIC fisiche | Larghezza di banda massima della rete (Gbps)‡ |
|---|---|---|---|---|---|---|---|
a4-highgpu-8g |
8 | 1440 | 224 | 3968 | 12.000 | 10 | 3600 |
*La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per la memorizzazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei carichi di lavoro con uso intensivo di risorse grafiche.
†Una vCPU viene implementata come un singolo hyperthread hardware su una delle
piattaforme CPU disponibili.
‡La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori.
Vedi Larghezza di banda della rete.
VM A3 Ultra
| Tipo di macchina | Conteggio GPU | Memoria GPU* (GB HBM3e) |
Numero di vCPU† | Memoria VM (GB) | SSD locale collegata (GiB) | Numero di NIC fisiche | Larghezza di banda massima della rete (Gbps)‡ |
|---|---|---|---|---|---|---|---|
a3-ultragpu-8g |
8 | 1128 | 224 | 2952 | 12.000 | 10 | 3600 |
*La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per la memorizzazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei carichi di lavoro con uso intensivo di risorse grafiche.
†Una vCPU viene implementata come un singolo hyperthread hardware su una delle
piattaforme CPU disponibili.
‡La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori.
Vedi Larghezza di banda della rete.
Tipi di macchine A3 Mega, High ed Edge
A questi tipi di macchine sono collegate GPU H100 da 80 GB. Ognuno di questi tipi di macchine ha un numero fisso di GPU, vCPU e dimensioni della memoria.
- VM A3 con una sola NIC: per le VM A3 con 1-4 GPU collegate, è disponibile solo una singola scheda di interfaccia di rete (NIC) fisica.
- VM A3 con più NIC: per le VM A3 con 8 GPU collegate, sono disponibili più NIC fisiche. Per questi tipi di macchine A3, le NIC sono disposte come segue su un bus Peripheral Component Interconnect Express (PCIe):
- Per il tipo di macchina A3 Mega: è disponibile una disposizione di NIC 8+1. Con questa disposizione, 8 NIC condividono lo stesso bus PCIe e 1 NIC si trova su un bus PCIe separato.
- Per il tipo di macchina A3 High: è disponibile una disposizione di NIC 4+1. Con questa disposizione, 4 NIC condividono lo stesso bus PCIe e 1 NIC si trova su un bus PCIe separato.
- Per il tipo di macchina A3 Edge: è disponibile una disposizione di NIC 4+1. Con questa disposizione, 4 NIC condividono lo stesso bus PCIe e 1 NIC si trova su un bus PCIe separato. Queste 5 NIC forniscono una larghezza di banda di rete totale di 400 Gbps per ogni VM.
Le NIC che condividono lo stesso bus PCIe hanno un allineamento NUMA (accesso alla memoria non uniforme) di una NIC per due GPU NVIDIA H100 da 80 GB. Queste NIC sono ideali per la comunicazione GPU-GPU dedicata a larghezza di banda elevata. La scheda NIC fisica che si trova su un bus PCIe separato è ideale per altre esigenze di rete. Per istruzioni su come configurare la rete per le VM A3 High e A3 Edge, consulta Configurare le reti MTU con frame jumbo.
A3 Mega
| Tipo di macchina | Conteggio GPU | Memoria GPU* (GB HBM3) |
Numero di vCPU† | Memoria VM (GB) | SSD locale collegata (GiB) | Numero di NIC fisiche | Larghezza di banda massima della rete (Gbps)‡ |
|---|---|---|---|---|---|---|---|
a3-megagpu-8g |
8 | 640 | 208 | 1.872 | 6000 | 9 | 1800 |
A3 High
| Tipo di macchina | Conteggio GPU | Memoria GPU* (GB HBM3) |
Numero di vCPU† | Memoria VM (GB) | SSD locale collegata (GiB) | Numero di NIC fisiche | Larghezza di banda massima della rete (Gbps)‡ |
|---|---|---|---|---|---|---|---|
a3-highgpu-1g |
1 | 80 | 26 | 234 | 750 | 1 | 25 |
a3-highgpu-2g |
2 | 160 | 52 | 468 | 1500 | 1 | 50 |
a3-highgpu-4g |
4 | 320 | 104 | 936 | 3000 | 1 | 100 |
a3-highgpu-8g |
8 | 640 | 208 | 1.872 | 6000 | 5 | 1000 |
A3 Edge
| Tipo di macchina | Conteggio GPU | Memoria GPU* (GB HBM3) |
Numero di vCPU† | Memoria VM (GB) | SSD locale collegata (GiB) | Numero di NIC fisiche | Larghezza di banda massima della rete (Gbps)‡ |
|---|---|---|---|---|---|---|---|
a3-edgegpu-8g |
8 | 640 | 208 | 1.872 | 6000 | 5 |
|
*La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per la memorizzazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei carichi di lavoro con uso intensivo di risorse grafiche.
†Una vCPU viene implementata come un singolo hyperthread hardware su una delle
piattaforme CPU disponibili.
‡La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori.
Vedi Larghezza di banda della rete.
Tipi di macchine A2
A ogni tipo di macchina A2 è collegato un numero fisso di GPU NVIDIA A100 da 40 GB o NVIDIA A100 da 80 GB. Ogni tipo di macchina ha anche un conteggio di vCPU e una dimensione della memoria fissi.
Le serie di macchine A2 sono disponibili in due tipi:
- A2 Ultra: a questi tipi di macchine sono collegate GPU A100 da 80 GB e dischi SSD locali.
- A2 Standard: a questi tipi di macchine sono collegate GPU A100 da 40 GB.
A2 Ultra
| Tipo di macchina | Conteggio GPU | Memoria GPU* (GB HBM3) |
Numero di vCPU† | Memoria VM (GB) | SSD locale collegata (GiB) | Larghezza di banda massima della rete (Gbps)‡ |
|---|---|---|---|---|---|---|
a2-ultragpu-1g |
1 | 80 | 12 | 170 | 375 | 24 |
a2-ultragpu-2g |
2 | 160 | 24 | 340 | 750 | 32 |
a2-ultragpu-4g |
4 | 320 | 48 | 680 | 1500 | 50 |
a2-ultragpu-8g |
8 | 640 | 96 | 1360 | 3000 | 100 |
A2 Standard
| Tipo di macchina | Conteggio GPU | Memoria GPU* (GB HBM3) |
Numero di vCPU† | Memoria VM (GB) | SSD locale collegata (GiB) | Larghezza di banda massima della rete (Gbps)‡ |
|---|---|---|---|---|---|---|
a2-highgpu-1g |
1 | 40 | 12 | 85 | Sì | 24 |
a2-highgpu-2g |
2 | 80 | 24 | 170 | Sì | 32 |
a2-highgpu-4g |
4 | 160 | 48 | 340 | Sì | 50 |
a2-highgpu-8g |
8 | 320 | 96 | 680 | Sì | 100 |
a2-megagpu-16g |
16 | 640 | 96 | 1360 | Sì | 100 |
*La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per la memorizzazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei carichi di lavoro con uso intensivo di risorse grafiche.
†Una vCPU viene implementata come un singolo hyperthread hardware su una delle
piattaforme CPU disponibili.
‡La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori.
Vedi Larghezza di banda della rete.
Tipi di macchine G2
A ogni tipo di macchina G2 è collegato un numero fisso di GPU NVIDIA L4 e vCPU. Ogni tipo di macchina G2 ha anche una memoria predefinita e un'intervallo di memoria personalizzato. L'intervallo di memoria personalizzato definisce la quantità di memoria che puoi allocare alla VM per ogni tipo di macchina. Puoi specificare la memoria personalizzata durante la creazione della VM.
Per applicare le larghezza di banda di rete più elevate (50 Gbps o superiori) alla maggior parte delle istanze GPU, ti consigliamo di utilizzare la scheda di rete virtuale Google (gVNIC). Per ulteriori informazioni sulla creazione di istanze GPU che utilizzano gVNIC, consulta Creare istanze GPU che utilizzano larghezze di banda più elevate.
| Tipo di macchina | Conteggio GPU | Memoria GPU* (GB GDDR6) | Numero di vCPU† | Memoria VM predefinita (GB) | Intervallo di memoria VM personalizzato (GB) | SSD locale massima supportata (GiB) | Larghezza di banda massima della rete (Gbps)‡ |
|---|---|---|---|---|---|---|---|
g2-standard-4 |
1 | 24 | 4 | 16 | Da 16 a 32 | 375 | 10 |
g2-standard-8 |
1 | 24 | 8 | 32 | Da 32 a 54 | 375 | 16 |
g2-standard-12 |
1 | 24 | 12 | 48 | Da 48 a 54 | 375 | 16 |
g2-standard-16 |
1 | 24 | 16 | 64 | Da 54 a 64 | 375 | 32 |
g2-standard-24 |
2 | 48 | 24 | 96 | Da 96 a 108 | 750 | 32 |
g2-standard-32 |
1 | 24 | 32 | 128 | Da 96 a 128 | 375 | 32 |
g2-standard-48 |
4 | 96 | 48 | 192 | Da 192 a 216 | 1500 | 50 |
g2-standard-96 |
8 | 192 | 96 | 384 | Da 384 a 432 | 3000 | 100 |
*La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per la memorizzazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei carichi di lavoro con uso intensivo di risorse grafiche.
†Una vCPU viene implementata come un singolo hyperthread hardware su una delle
piattaforme CPU disponibili.
‡La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori.
Vedi Larghezza di banda della rete.
Tipi di macchine N1 + GPU
Per le istanze N1 per uso generale con GPU T4 e V100 collegate, puoi ottenere una larghezza di banda di rete massima fino a 100 Gbps, in base alla combinazione di GPU e vCPU. Per tutte le altre istanze GPU N1, consulta la sezione Panoramica.
Consulta la sezione seguente per calcolare la larghezza di banda di rete massima disponibile per le istanze T4 e V100 in base al modello di GPU, al numero di vCPU e di GPU.
Meno di 5 vCPU
Per le istanze T4 e V100 con massimo 5 vCPU, è disponibile una larghezza di banda di rete massima di 10 Gbps.
Più di 5 vCPU
Per le istanze T4 e V100 con più di 5 vCPU, la larghezza di banda di rete massima viene calcolata in base al numero di vCPU e GPU per la VM.
Per applicare le larghezza di banda di rete più elevate (50 Gbps o superiori) alla maggior parte delle istanze GPU, ti consigliamo di utilizzare la scheda di rete virtuale Google (gVNIC). Per ulteriori informazioni sulla creazione di istanze GPU che utilizzano gVNIC, consulta Creare istanze GPU che utilizzano larghezze di banda più elevate.
| Modello GPU | Numero di GPU | Calcolo della larghezza di banda massima della rete |
|---|---|---|
| NVIDIA V100 | 1 | min(vcpu_count * 2, 32) |
| 2 | min(vcpu_count * 2, 32) |
|
| 4 | min(vcpu_count * 2, 50) |
|
| 8 | min(vcpu_count * 2, 100) |
|
| NVIDIA T4 | 1 | min(vcpu_count * 2, 32) |
| 2 | min(vcpu_count * 2, 50) |
|
| 4 | min(vcpu_count * 2, 100) |
Crea macchine GPU ad alta larghezza di banda
Per creare istanze GPU che utilizzano larghezze di banda di rete più elevate, utilizza uno dei seguenti metodi in base al tipo di macchina:
Per creare istanze A2, G2 e N1 che utilizzano larghezze di banda di rete più elevate, consulta Utilizzare una larghezza di banda di rete più elevata per le istanze A2, G2 e N1. Per testare o verificare la velocità della larghezza di banda di queste macchine, puoi utilizzare il test di benchmarking. Per ulteriori informazioni, consulta la sezione Verificare la larghezza di banda di rete.
Per creare istanze A3 Mega che utilizzano larghezze di banda di rete più elevate, consulta Eseguire il deployment di un cluster Slurm A3 Mega per l'addestramento ML. Per testare o verificare la velocità della larghezza di banda di queste macchine, utilizza un test di benchmarking seguendo i passaggi descritti in Controllare la larghezza di banda della rete.
Per le istanze A3 High e A3 Edge che utilizzano larghezze di banda di rete più elevate, consulta Creare una VM A3 con GPUDirect-TCPX abilitato. Per testare o verificare la velocità della larghezza di banda di queste macchine, puoi utilizzare il test di benchmarking. Per ulteriori informazioni, consulta la sezione Verificare la larghezza di banda di rete.
Per gli altri tipi di macchine ottimizzati per l'acceleratore, non è richiesta alcuna azione per utilizzare una larghezza di banda della rete più elevata; la creazione di un'istanza come descritto nella documentazione utilizza già una larghezza di banda della rete elevata. Per scoprire come creare istanze per altri tipi di macchine ottimizzati per l'acceleratore, consulta la pagina Creare una VM con GPU collegate.
Passaggi successivi
- Scopri di più sulle piattaforme GPU.
- Scopri come creare istanze con GPU collegate.
- Scopri di più su come utilizzare una larghezza di banda di rete superiore.
- Scopri di più sui prezzi delle GPU.