Le larghezze di banda di rete più elevate possono migliorare le prestazioni delle istanze di GPU per supportare i workload distribuiti in esecuzione su Compute Engine.
La larghezza di banda di rete massima disponibile per le istanze con GPU collegate su Compute Engine è la seguente:
- Per le istanze A4 e A3 ottimizzate per l'acceleratore, puoi ottenere una larghezza di banda di rete massima fino a 3600 Gbps, in base al tipo di macchina.
- Per le istanze A2 e G2 ottimizzate per l'acceleratore, puoi ottenere una larghezza di banda di rete massima fino a 100 Gbps, in base al tipo di macchina.
- Per le istanze N1 per uso generico a cui sono collegate GPU P100 e P4, è disponibile una larghezza di banda di rete massima di 32 Gbps. È simile alla frequenza massima disponibile per le istanze N1 a cui non sono collegate GPU. Per ulteriori informazioni sulle larghezze di banda di rete, consulta la sezione relativa alla percentuale massima di dati in uscita.
- Per le istanze N1 per uso generico a cui sono state collegate GPU T4 e V100, puoi ottenere una larghezza di banda di rete massima fino a 100 Gbps, in base al conteggio combinato di GPU e vCPU.
Controlla la larghezza di banda della rete e la disposizione del NIC
Utilizza la sezione seguente per esaminare la disposizione della rete e la velocità della larghezza di banda per ciascun tipo di macchina GPU.
Tipi di macchine A4 e A3 Ultra
I tipi di macchine A4 sono collegate a GPU NVIDIA B200 e i tipi di macchina A3 Ultra sono collegate a GPU NVIDIA H200 da 141 GB.
Questi tipi di macchine forniscono otto schede di interfaccia di rete (NIC) NVIDIA ConnectX-7 (CX7) e due NIC virtuali di Google (gVNIC). Le otto NIC CX7 offrono una larghezza di banda di rete totale di 3200 Gbps. Queste NIC sono dedicate solo alle comunicazioni tra GPU con elevata larghezza di banda e non possono essere utilizzate per altre esigenze di networking, come l'accesso a internet pubblico. Come illustrato nel seguente diagramma, ogni NIC CX7 è allineata a una GPU per ottimizzare l'accesso alla memoria non uniforme (NUMA). Tutte e otto le GPU possono comunicare rapidamente tra loro utilizzando il bridge NVLink all to all che le connette. Le altre due schede di interfaccia di rete gVNIC sono NIC intelligenti che forniscono altri 400 Gbps di larghezza di banda di rete per i requisiti di rete per uso generico. Quando usate in combinazione, le schede di interfaccia di rete forniscono a queste macchine 3600 Gbps di larghezza di banda di rete totale massima.
Per utilizzare queste NIC multiple, devi creare tre reti Virtual Private Cloud nel modo seguente:
- 2 reti VPC: ogni NIC gVNIC deve essere collegata a una rete VPC diversa
- 1 rete VPC per RDMA: tutte le otto NIC CX7 condividono la stessa rete VPC
Per configurare queste reti, consulta Crea reti VPC nella documentazione di AI Hypercomputer.
VM A4
| Tipo di macchina | Conteggio GPU | Memoria GPU* (GB HBM3e) |
Numero di vCPU† | Memoria VM (GB) | SSD locale collegato (GiB) | Numero di NIC fisiche | Larghezza di banda massima della rete (Gbps)‡ |
|---|---|---|---|---|---|---|---|
a4-highgpu-8g |
8 | 1440 | 224 | 3968 | 12.000 | 10 | 3600 |
*La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei
dati. È separata dalla memoria della VM ed è progettata specificamente per gestire le richieste di larghezza di banda
più elevate dei workload ad alta intensità grafica.
†Una vCPU viene implementata come un singolo hyperthread hardware su una delle
piattaforme CPU disponibili.
‡La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza
di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori.
Vedi Larghezza di banda della rete.
VM A3 Ultra
| Tipo di macchina | Conteggio GPU | Memoria GPU* (GB HBM3e) |
Numero di vCPU† | Memoria VM (GB) | SSD locale collegato (GiB) | Numero di NIC fisiche | Larghezza di banda massima della rete (Gbps)‡ |
|---|---|---|---|---|---|---|---|
a3-ultragpu-8g |
8 | 1128 | 224 | 2952 | 12.000 | 10 | 3600 |
*La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per
l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è
progettata specificamente per gestire le richieste di larghezza di banda più elevate dei
workload ad alta intensità grafica.
†Una vCPU viene implementata come un singolo hyperthread hardware su una delle
piattaforme CPU disponibili.
‡La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza
di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori.
Vedi Larghezza di banda della rete.
Tipi di macchine A3 Mega, High ed Edge
A questi tipi di macchine sono collegate GPU H100 da 80 GB. Ciascuno di questi tipi di macchine ha un numero fisso di GPU, vCPU e dimensioni fisse della memoria.
- VM A3 con una sola NIC: per le VM A3 che hanno da 1 a 4 GPU collegate, è disponibile solo una singola scheda di interfaccia di rete (NIC) fisica.
- VM A3 con NIC multiple: per le VM A3 con 8 GPU collegate,
sono disponibili più NIC fisiche. Per questi tipi di macchine A3, le NIC sono disposte come segue su
un bus Peripheral Component Interconnect Express (PCIe):
- Per il tipo di macchina A3 Mega: è disponibile una disposizione di NIC 8+1. Con questa disposizione, 8 NIC condividono lo stesso bus PCIe e 1 NIC si trova su un bus PCIe separato.
- Per il tipo di macchina A3 High: è disponibile una disposizione di NIC 4+1. Con questa disposizione, 4 NIC condividono lo stesso bus PCIe e 1 NIC si trova su un bus PCIe separato.
- Per il tipo di macchina A3 Edge: è disponibile una disposizione di NIC 4+1. Con questa disposizione, 4 NIC condividono lo stesso bus PCIe e 1 NIC si trova su un bus PCIe separato. Queste 5 NIC forniscono una larghezza di banda di rete totale di 400 Gbps per ogni VM.
Le NIC che condividono lo stesso bus PCIe hanno un allineamento NUMA (accesso alla memoria non uniforme) di una NIC ogni due GPU NVIDIA H100 da 80 GB. Queste NIC sono ideali per la comunicazione da GPU a GPU dedicata a larghezza di banda elevata. La scheda NIC fisica che si trova su un bus PCIe separato è ideale per altre esigenze di rete. Per istruzioni su come configurare la rete per le VM A3 High e A3 Edge, consulta Configura le reti MTU con frame jumbo.
A3 Mega
| Tipo di macchina | Conteggio GPU | Memoria GPU* (GB HBM3) |
Numero di vCPU† | Memoria VM (GB) | SSD locale collegato (GiB) | Numero di NIC fisiche | Larghezza di banda massima della rete (Gbps)‡ |
|---|---|---|---|---|---|---|---|
a3-megagpu-8g |
8 | 640 | 208 | 1872 | 6000 | 9 | 1800 |
A3 High
| Tipo di macchina | Conteggio GPU | Memoria GPU* (GB HBM3) |
Numero di vCPU† | Memoria VM (GB) | SSD locale collegato (GiB) | Numero di NIC fisiche | Larghezza di banda massima della rete (Gbps)‡ |
|---|---|---|---|---|---|---|---|
a3-highgpu-1g |
1 | 80 | 26 | 234 | 750 | 1 | 25 |
a3-highgpu-2g |
2 | 160 | 52 | 468 | 1500 | 1 | 50 |
a3-highgpu-4g |
4 | 320 | 104 | 936 | 3000 | 1 | 100 |
a3-highgpu-8g |
8 | 640 | 208 | 1872 | 6000 | 5 | 1000 |
A3 Edge
| Tipo di macchina | Conteggio GPU | Memoria GPU* (GB HBM3) |
Numero di vCPU† | Memoria VM (GB) | SSD locale collegato (GiB) | Numero di NIC fisiche | Larghezza di banda massima della rete (Gbps)‡ |
|---|---|---|---|---|---|---|---|
a3-edgegpu-8g |
8 | 640 | 208 | 1872 | 6000 | 5 |
|
*La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per
l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è
progettata specificamente per gestire le richieste di larghezza di banda più elevate dei
workload ad alta intensità grafica.
†Una vCPU viene implementata come un singolo hyperthread hardware su una delle
piattaforme CPU disponibili.
‡La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza
di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori.
Vedi Larghezza di banda della rete.
Tipi di macchine A2
A ogni tipo di macchina A2 è collegato un numero fisso di GPU NVIDIA A100 da 40 GB o NVIDIA A100 da 80 GB. Ogni tipo di macchina ha anche un conteggio di vCPU e una dimensione della memoria fissi.
Le serie di macchine A2 sono disponibili in due tipi:
- A2 Ultra: a questi tipi di macchine sono collegate GPU A100 da 80 GB e dischi SSD locali.
- A2 Standard: a questi tipi di macchine sono collegate GPU A100 da 40 GB.
A2 Ultra
| Tipo di macchina | Conteggio GPU | Memoria GPU* (GB HBM3) |
Numero di vCPU† | Memoria VM (GB) | SSD locale collegato (GiB) | Larghezza di banda massima della rete (Gbps)‡ |
|---|---|---|---|---|---|---|
a2-ultragpu-1g |
1 | 80 | 12 | 170 | 375 | 24 |
a2-ultragpu-2g |
2 | 160 | 24 | 340 | 750 | 32 |
a2-ultragpu-4g |
4 | 320 | 48 | 680 | 1500 | 50 |
a2-ultragpu-8g |
8 | 640 | 96 | 1360 | 3000 | 100 |
A2 Standard
| Tipo di macchina | Conteggio GPU | Memoria GPU* (GB HBM3) |
Numero di vCPU† | Memoria VM (GB) | SSD locale collegato (GiB) | Larghezza di banda massima della rete (Gbps)‡ |
|---|---|---|---|---|---|---|
a2-highgpu-1g |
1 | 40 | 12 | 85 | Sì | 24 |
a2-highgpu-2g |
2 | 80 | 24 | 170 | Sì | 32 |
a2-highgpu-4g |
4 | 160 | 48 | 340 | Sì | 50 |
a2-highgpu-8g |
8 | 320 | 96 | 680 | Sì | 100 |
a2-megagpu-16g |
16 | 640 | 96 | 1360 | Sì | 100 |
*La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per
l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è
progettata specificamente per gestire le richieste di larghezza di banda più elevate dei
workload ad alta intensità grafica.
†Una vCPU viene implementata come un singolo hyperthread hardware su una delle
piattaforme CPU disponibili.
‡La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza
di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori.
Vedi Larghezza di banda della rete.
Tipi di macchine G2
A ogni tipo di macchina G2 è collegato un numero fisso di GPU NVIDIA L4 e vCPU. Ogni tipo di macchina G2 ha anche una memoria predefinita e un'intervallo di memoria personalizzato. L'intervallo di memoria personalizzato definisce la quantità di memoria che puoi allocare alla VM per ogni tipo di macchina. Puoi specificare la memoria personalizzata durante la creazione della VM.
Per applicare larghezze di banda di rete più elevate (da 50 Gbps o superiori) alla maggior parte delle istanze di GPU, ti consigliamo di utilizzare la NIC virtuale Google (gVNIC). Per ulteriori informazioni sulla creazione di istanze di GPU che utilizzano gVNIC, consulta Creazione di istanze di GPU che utilizzano larghezze di banda più elevate.
| Tipo di macchina | Conteggio GPU | Memoria GPU* (GB GDDR6) | Numero di vCPU† | Memoria VM predefinita (GB) | Intervallo di memoria VM personalizzato (GB) | SSD locale massima supportata (GiB) | Larghezza di banda massima della rete (Gbps)‡ |
|---|---|---|---|---|---|---|---|
g2-standard-4 |
1 | 24 | 4 | 16 | da 16 a 32 | 375 | 10 |
g2-standard-8 |
1 | 24 | 8 | 32 | da 32 a 54 | 375 | 16 |
g2-standard-12 |
1 | 24 | 12 | 48 | da 48 a 54 | 375 | 16 |
g2-standard-16 |
1 | 24 | 16 | 64 | da 54 a 64 | 375 | 32 |
g2-standard-24 |
2 | 48 | 24 | 96 | Toda 96 a 108 | 750 | 32 |
g2-standard-32 |
1 | 24 | 32 | 128 | da 96 a 128 | 375 | 32 |
g2-standard-48 |
4 | 96 | 48 | 192 | da 192 a 216 | 1500 | 50 |
g2-standard-96 |
8 | 192 | 96 | 384 | da 384 a 432 | 3000 | 100 |
*La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per
l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è
progettata specificamente per gestire le richieste di larghezza di banda più elevate dei
workload ad alta intensità grafica.
†Una vCPU viene implementata come un singolo hyperthread hardware su una delle
piattaforme CPU disponibili.
‡La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza
di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori.
Vedi Larghezza di banda della rete.
Tipi di macchine N1 + GPU
Per le istanze N1 per uso generico a cui sono state collegate GPU T4 e V100, puoi ottenere una larghezza di banda di rete massima fino a 100 Gbps, in base al conteggio combinato di GPU e vCPU. Per tutte le altre istanze di GPU N1, consulta la Panoramica.
Consulta la sezione seguente per calcolare la larghezza di banda di rete massima disponibile per le istanze T4 e V100 in base al modello di GPU, al numero di vCPU e di GPU.
Meno di 5 vCPU
Le istanze T4 e V100 con al massimo 5 vCPU hanno a disposizione una larghezza di banda di rete massima di 10 Gbps.
Più di 5 vCPU
Per le istanze T4 e V100 con più di 5 vCPU, la larghezza di banda di rete massima viene calcolata in base al numero di vCPU e GPU per la VM.
Per applicare larghezze di banda di rete più elevate (da 50 Gbps o superiori) alla maggior parte delle istanze di GPU, ti consigliamo di utilizzare la NIC virtuale Google (gVNIC). Per ulteriori informazioni sulla creazione di istanze di GPU che utilizzano gVNIC, consulta Creazione di istanze di GPU che utilizzano larghezze di banda più elevate.
| Modello di GPU | Numero di GPU | Calcolo della larghezza di banda di rete massima |
|---|---|---|
| NVIDIA V100 | 1 | min(vcpu_count * 2, 32) |
| 2 | min(vcpu_count * 2, 32) |
|
| 4 | min(vcpu_count * 2, 50) |
|
| 8 | min(vcpu_count * 2, 100) |
|
| NVIDIA T4 | 1 | min(vcpu_count * 2, 32) |
| 2 | min(vcpu_count * 2, 50) |
|
| 4 | min(vcpu_count * 2, 100) |
Crea macchine GPU a larghezza di banda elevata
Per creare istanze di GPU che utilizzano larghezze di banda di rete più elevate, utilizza uno dei seguenti metodi in base al tipo di macchina:
Per creare istanze A2, G2 e N1 che utilizzano larghezze di banda di rete più elevate, consulta Utilizza una larghezza di banda di rete più elevata per le istanze A2, G2 e N1. Per testare o verificare la velocità della larghezza di banda delle macchine, puoi utilizzare il test di benchmarking. Per ulteriori informazioni, consulta la sezione Verifica della larghezza di banda di rete.
Per creare istanze A3 Mega che utilizzano larghezze di banda di rete più elevate, consulta Esegui il deployment di un cluster Slurm A3 Mega per l'addestramento ML. Per testare o verificare la velocità della larghezza di banda delle macchine, utilizza un test di benchmarking seguendo i passaggi descritti in Controllo della larghezza di banda della rete
Per le istanze A3 High e A3 Edge che utilizzano larghezze di banda della rete più elevate, consulta Crea una VM A3 con GPUDirect-TCPX abilitato. Per testare o verificare la velocità della larghezza di banda delle macchine, puoi utilizzare il test di benchmarking. Per ulteriori informazioni, consulta la sezione Verifica della larghezza di banda di rete.
Per gli altri tipi di macchine ottimizzate per l'acceleratore, non è richiesta alcuna azione per utilizzare una larghezza di banda di rete più elevata; la creazione di un'istanza come descritto nella documentazione ne utilizza già una elevata. Per scoprire come creare istanze per altri tipi di macchine ottimizzate per l'acceleratore, consulta Crea una VM con GPU collegate.
Passaggi successivi
- Scopri di più sulle piattaforme GPU.
- Scopri come creare istanze con GPU collegate.
- Scopri di più su come utilizzare una larghezza di banda di rete più elevata.
- Scopri di più sui prezzi delle GPU.