Höhere Netzwerkbandbreiten können die Leistung Ihrer GPU-Instanzen verbessern, um verteilte Arbeitslasten zu unterstützen, die in der Compute Engine ausgeführt werden.
Für Instanzen mit angehängten GPUs in Compute Engine ist folgende maximale Netzwerkbandbreite verfügbar:
- Bei beschleunigungsoptimierten A4- und A3-Instanzen können Sie je nach Maschinentyp eine maximale Netzwerkbandbreite von bis zu 3.600 Gbit/s erhalten.
- Bei beschleunigungsoptimierten A2- und G2-Instanzen können Sie je nach Maschinentyp eine maximale Netzwerkbandbreite von bis zu 100 Gbit/s erhalten.
- Für N1-Instanzen für allgemeine Zwecke, an die P100- und P4-GPUs angeschlossen sind, steht eine maximale Netzwerkbandbreite von 32 Gbit/s zur Verfügung. Dies entspricht der maximalen Rate, die für N1-Instanzen verfügbar ist, denen keine GPUs zugeordnet sind. Weitere Informationen zu Netzwerkbandbreiten finden Sie unter maximale Rate ausgehender Daten.
- Bei N1-Instanzen für allgemeine Zwecke, an die T4- und V100-GPUs angeschlossen sind, können Sie basierend auf der Kombination aus GPU und Anzahl der vCPUs eine maximale Netzwerkbandbreite von bis zu 100 Gbit/s erhalten.
Netzwerkbandbreite und NIC-Anordnung prüfen
Im folgenden Abschnitt finden Sie Informationen zur Netzwerkanordnung und zur Bandbreitengeschwindigkeit für jeden GPU-Maschinentyp.
A4- und A3 Ultra-Maschinentypen
An die A4-Maschinentypen sind NVIDIA B200-GPUs und an die A3 Ultra-Maschinentypen NVIDIA H200-GPUs mit 141 GB angehängt.
Diese Maschinentypen bieten acht NVIDIA ConnectX-7 (CX7)-Netzwerkschnittstellenkarten (NICs) und zwei Google Virtual NICs (gVNICs). Die acht CX7-NICs bieten eine Gesamtnetzwerkbandbreite von 3.200 Gbit/s. Diese NICs sind nur für die GPU-zu-GPU-Kommunikation mit hoher Bandbreite vorgesehen und können nicht für andere Netzwerkanforderungen wie den öffentlichen Internetzugriff verwendet werden. Wie im folgenden Diagramm dargestellt, ist jede CX7-NIC mit einer GPU ausgerichtet, um den nicht einheitlichen Arbeitsspeicherzugriff (NUMA) zu optimieren. Alle acht GPUs können über die All-to-All-NVLink-Brücke, die sie verbindet, schnell miteinander kommunizieren. Die beiden anderen gVNIC-Netzwerkschnittstellenkarten sind Smart-NICs, die eine zusätzliche Netzwerkbandbreite von 400 Gbit/s für allgemeine Netzwerkanforderungen bieten. Zusammen bieten die Netzwerkkarten eine maximale Netzwerkbandbreite von 3.600 Gbit/s für diese Maschinen.
Wenn Sie diese mehrere NICs verwenden möchten, müssen Sie drei Virtual Private Cloud-Netzwerke so erstellen:
- 2 VPC-Netzwerke: Jede gVNIC-NIC muss an ein anderes VPC-Netzwerk angeschlossen sein.
- 1 VPC-Netzwerk für RDMA : Alle acht CX7-NICs nutzen dasselbe VPC-Netzwerk.
Informationen zum Einrichten dieser Netzwerke finden Sie in der AI Hypercomputer-Dokumentation unter VPC-Netzwerke erstellen.
A4-VMs
| Maschinentyp | GPU-Anzahl | GPU-Speicher* (GB HBM3e) |
vCPU-Anzahl† | VM-Arbeitsspeicher (GB) | Verbundene lokale SSD (GiB) | Anzahl der physischen NICs | Maximale Netzwerkbandbreite (Gbit/s)‡ |
|---|---|---|---|---|---|---|---|
a4-highgpu-8g |
8 | 1.440 | 224 | 3.968 | 12.000 | 10 | 3.600 |
* GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
† Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
‡ Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab.
Siehe Netzwerkbandbreite.
A3 Ultra-VMs
| Maschinentyp | GPU-Anzahl | GPU-Speicher* (GB HBM3e) |
vCPU-Anzahl† | VM-Arbeitsspeicher (GB) | Verbundene lokale SSD (GiB) | Anzahl der physischen NICs | Maximale Netzwerkbandbreite (Gbit/s)‡ |
|---|---|---|---|---|---|---|---|
a3-ultragpu-8g |
8 | 1128 | 224 | 2.952 | 12.000 | 10 | 3.600 |
* GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
† Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
‡ Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab.
Siehe Netzwerkbandbreite.
A3 Mega-, High- und Edge-Maschinentypen
An diese Maschinentypen sind H100-GPUs mit 80 GB angehängt. Jeder dieser Maschinentypen hat eine feste GPU-Anzahl, eine feste Anzahl von vCPUs und eine vorgegebene Speichergröße.
- A3-VMs mit einer einzelnen NIC: Für A3-VMs mit 1 bis 4 angehängten GPUs ist nur eine physische Netzwerkschnittstellenkarte (NIC) verfügbar.
- A3-VMs mit mehreren NICs: Für A3-VMs mit 8 angehängten GPUs sind mehrere physische NICs verfügbar. Bei diesen A3-Maschinentypen sind die NICs auf einem PCIe-Bus (Peripheral Component Interconnect Express) so angeordnet:
- Für den Maschinentyp „A3 Mega“ ist eine NIC-Anordnung von 8+1 verfügbar. Bei dieser Anordnung teilen sich 8 NICs denselben PCIe-Bus und 1 NIC befindet sich auf einem separaten PCIe-Bus.
- Für den Maschinentyp „A3 High“ ist eine NIC-Anordnung von 4+1 verfügbar. Bei dieser Anordnung teilen sich 4 NICs denselben PCIe-Bus und eine NIC befindet sich auf einem separaten PCIe-Bus.
- Für den Maschinentyp „A3 Edge“ ist eine NIC-Anordnung von 4+1 verfügbar. Bei dieser Anordnung teilen sich 4 NICs denselben PCIe-Bus und eine NIC befindet sich auf einem separaten PCIe-Bus. Diese fünf NICs bieten eine Gesamtnetzwerkbandbreite von 400 Gbit/s pro VM.
NICs, die denselben PCIe-Bus verwenden, haben eine uneinheitliche Ausrichtung des Arbeitsspeicherzugriffs (NUMA) von einer NIC pro zwei NVIDIA H100-GPUs mit 80 GB. Diese NICs sind ideal für die dedizierte GPU-zu-GPU-Kommunikation mit hoher Bandbreite. Die physische NIC, die sich auf einem separaten PCIe-Bus befindet, ist ideal für andere Netzwerkanforderungen. Eine Anleitung zum Einrichten von Netzwerken für A3 High- und A3 Edge-VMs finden Sie unter MTU-Netzwerke im Jumbo Frame einrichten.
A3 Mega
| Maschinentyp | GPU-Anzahl | GPU-Arbeitsspeicher* (GB HBM3) |
vCPU-Anzahl† | VM-Arbeitsspeicher (GB) | Verbundene lokale SSD (GiB) | Anzahl der physischen NICs | Maximale Netzwerkbandbreite (Gbit/s)‡ |
|---|---|---|---|---|---|---|---|
a3-megagpu-8g |
8 | 640 | 208 | 1.872 | 6.000 | 9 | 1.800 |
A3 High
| Maschinentyp | GPU-Anzahl | GPU-Arbeitsspeicher* (GB HBM3) |
vCPU-Anzahl† | VM-Arbeitsspeicher (GB) | Verbundene lokale SSD (GiB) | Anzahl der physischen NICs | Maximale Netzwerkbandbreite (Gbit/s)‡ |
|---|---|---|---|---|---|---|---|
a3-highgpu-1g |
1 | 80 | 26 | 234 | 750 | 1 | 25 |
a3-highgpu-2g |
2 | 160 | 52 | 468 | 1.500 | 1 | 50 |
a3-highgpu-4g |
4 | 320 | 104 | 936 | 3.000 | 1 | 100 |
a3-highgpu-8g |
8 | 640 | 208 | 1.872 | 6.000 | 5 | 1.000 |
A3 Edge
| Maschinentyp | GPU-Anzahl | GPU-Arbeitsspeicher* (GB HBM3) |
vCPU-Anzahl† | VM-Arbeitsspeicher (GB) | Verbundene lokale SSD (GiB) | Anzahl der physischen NICs | Maximale Netzwerkbandbreite (Gbit/s)‡ |
|---|---|---|---|---|---|---|---|
a3-edgegpu-8g |
8 | 640 | 208 | 1.872 | 6.000 | 5 |
|
* GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
† Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
‡ Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab.
Siehe Netzwerkbandbreite.
A2-Maschinentypen
Jeder A2-Maschinentyp hat eine feste Anzahl von angehängten NVIDIA A100-GPUs mit 40 GB oder NVIDIA A100 80 GB. Jeder Maschinentyp hat außerdem eine feste Anzahl an vCPUs und eine feste Arbeitsspeichergröße.
A2-Maschinenserien sind in zwei Typen verfügbar:
- A2 Ultra: Bei diesen Maschinentypen sind A100-GPUs mit 80 GB und eine lokale SSD angehängt.
- A2 Standard: An diese Maschinentypen sind A100-GPUs mit 40 GB angehängt.
A2-Ultra
| Maschinentyp | GPU-Anzahl | GPU-Arbeitsspeicher* (GB HBM3) |
vCPU-Anzahl† | VM-Arbeitsspeicher (GB) | Verbundene lokale SSD (GiB) | Maximale Netzwerkbandbreite (Gbit/s)‡ |
|---|---|---|---|---|---|---|
a2-ultragpu-1g |
1 | 80 | 12 | 170 | 375 | 24 |
a2-ultragpu-2g |
2 | 160 | 24 | 340 | 750 | 32 |
a2-ultragpu-4g |
4 | 320 | 48 | 680 | 1.500 | 50 |
a2-ultragpu-8g |
8 | 640 | 96 | 1.360 | 3.000 | 100 |
A2-Standard
| Maschinentyp | GPU-Anzahl | GPU-Arbeitsspeicher* (GB HBM3) |
vCPU-Anzahl† | VM-Arbeitsspeicher (GB) | Verbundene lokale SSD (GiB) | Maximale Netzwerkbandbreite (Gbit/s)‡ |
|---|---|---|---|---|---|---|
a2-highgpu-1g |
1 | 40 | 12 | 85 | Ja | 24 |
a2-highgpu-2g |
2 | 80 | 24 | 170 | Ja | 32 |
a2-highgpu-4g |
4 | 160 | 48 | 340 | Ja | 50 |
a2-highgpu-8g |
8 | 320 | 96 | 680 | Ja | 100 |
a2-megagpu-16g |
16 | 640 | 96 | 1.360 | Ja | 100 |
* GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
† Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
‡ Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab.
Siehe Netzwerkbandbreite.
G2-Maschinentypen
Jeder G2-Maschinentyp hat eine feste Anzahl von NVIDIA L4-GPUs und vCPUs. Jeder G2-Maschinentyp hat auch einen Standardarbeitsspeicher und einen benutzerdefinierten Arbeitsspeicherbereich. Der benutzerdefinierte Arbeitsspeicherbereich definiert die Größe des Arbeitsspeichers, den Sie Ihrer VM für jeden Maschinentyp zuweisen können. Sie können Ihren benutzerdefinierten Arbeitsspeicher während der VM-Erstellung angeben.
Um die höheren Netzwerkbandbreitenraten (50 Gbit/s oder höher) für die meisten GPU-Instanzen zu erhalten, wird die Verwendung von Google Virtual NIC (gVNIC) empfohlen. Weitere Informationen zum Erstellen von GPU-Instanzen, die gVNIC verwenden, finden Sie unter GPU-Instanzen mit höheren Bandbreiten erstellen.
| Maschinentyp | GPU-Anzahl | GPU-Speicher* (GB GDDR6) | vCPU-Anzahl† | Standard-VM-Arbeitsspeicher (GB) | Benutzerdefinierter VM-Arbeitsspeicherbereich (GB) | Maximal unterstützte lokale SSD (GiB) | Maximale Netzwerkbandbreite (Gbit/s)‡ |
|---|---|---|---|---|---|---|---|
g2-standard-4 |
1 | 24 | 4 | 16 | 16 bis 32 | 375 | 10 |
g2-standard-8 |
1 | 24 | 8 | 32 | 32 bis 54 | 375 | 16 |
g2-standard-12 |
1 | 24 | 12 | 48 | 48 bis 54 | 375 | 16 |
g2-standard-16 |
1 | 24 | 16 | 64 | 54 bis 64 | 375 | 32 |
g2-standard-24 |
2 | 48 | 24 | 96 | 96 bis 108 | 750 | 32 |
g2-standard-32 |
1 | 24 | 32 | 128 | 96 bis 128 | 375 | 32 |
g2-standard-48 |
4 | 96 | 48 | 192 | 192 bis 216 | 1.500 | 50 |
g2-standard-96 |
8 | 192 | 96 | 384 | 384 bis 432 | 3.000 | 100 |
* GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
† Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
‡ Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab.
Siehe Netzwerkbandbreite.
N1- und GPU-Maschinentypen
Bei N1-Instanzen für allgemeine Zwecke, an die T4- und V100-GPUs angeschlossen sind, können Sie basierend auf der Kombination aus GPU und Anzahl der vCPUs eine maximale Netzwerkbandbreite von bis zu 100 Gbit/s erhalten. Informationen zu allen anderen N1-GPU-Instanzen finden Sie unter Übersicht.
Lesen Sie den folgenden Abschnitt, um die maximale Netzwerkbandbreite zu berechnen, die für Ihre T4- und V100-Instanzen basierend auf dem GPU-Modell, der vCPU und der GPU-Anzahl verfügbar ist.
Weniger als 5 vCPUs
Für T4- und V100-Instanzen mit maximal 5 vCPUs steht eine maximale Netzwerkbandbreite von 10 Gbit/s zur Verfügung.
Mehr als 5 vCPUs
Bei T4- und V100-Instanzen mit mehr als 5 vCPUs wird die maximale Netzwerkbandbreite anhand der Anzahl der vCPUs und GPUs für diese VM berechnet.
Um die höheren Netzwerkbandbreitenraten (50 Gbit/s oder höher) für die meisten GPU-Instanzen zu erhalten, wird die Verwendung von Google Virtual NIC (gVNIC) empfohlen. Weitere Informationen zum Erstellen von GPU-Instanzen, die gVNIC verwenden, finden Sie unter GPU-Instanzen mit höheren Bandbreiten erstellen.
| GPU-Modell | Anzahl der GPUs | Berechnung der maximalen Netzwerkbandbreite |
|---|---|---|
| NVIDIA V100 | 1 | min(vcpu_count * 2, 32) |
| 2 | min(vcpu_count * 2, 32) |
|
| 4 | min(vcpu_count * 2, 50) |
|
| 8 | min(vcpu_count * 2, 100) |
|
| NVIDIA T4 | 1 | min(vcpu_count * 2, 32) |
| 2 | min(vcpu_count * 2, 50) |
|
| 4 | min(vcpu_count * 2, 100) |
GPU-Maschinen mit hoher Bandbreite erstellen
Wenn Sie GPU-Instanzen mit höherer Netzwerkbandbreite erstellen möchten, verwenden Sie je nach Maschinentyp eine der folgenden Methoden:
Informationen zum Erstellen von A2-, G2- und N1-Instanzen, die eine höhere Netzwerkbandbreite verwenden, finden Sie unter Höhere Netzwerkbandbreite für A2-, G2- und N1-Instanzen verwenden. Zum Testen oder Prüfen der Bandbreitengeschwindigkeit für diese Maschinen können Sie den Benchmarking-Test verwenden. Weitere Informationen finden Sie unter Netzwerkbandbreite prüfen.
Informationen zum Erstellen von A3 Mega-Instanzen mit höherer Netzwerkbandbreite finden Sie unter A3 Mega-Slurm-Cluster für ML-Training bereitstellen. Zum Testen oder Prüfen der Bandbreitengeschwindigkeit für diese Maschinen können Sie einen Benchmarking-Test durchführen. Folgen Sie dazu der Anleitung unter Netzwerkbandbreite prüfen.
Informationen zu A3 High- und A3 Edge-Instanzen, die eine höhere Netzwerkbandbreite nutzen, finden Sie unter A3-VM mit aktiviertem GPUDirect-TCPX erstellen. Zum Testen oder Prüfen der Bandbreitengeschwindigkeit für diese Maschinen können Sie den Benchmarking-Test verwenden. Weitere Informationen finden Sie unter Netzwerkbandbreite prüfen.
Bei anderen beschleunigungsoptimierten Maschinentypen ist keine Maßnahme erforderlich, um eine höhere Netzwerkbandbreite zu nutzen. Beim Erstellen einer Instanz wird bereits eine hohe Netzwerkbandbreite verwendet. Informationen zum Erstellen von Instanzen für andere beschleunigungsoptimierte Maschinentypen finden Sie unter VM mit angehängten GPUs erstellen.
Nächste Schritte
- Weitere Informationen zu GPU-Plattformen
- Weitere Informationen zum Erstellen von Instanzen mit angehängten GPUs
- Weitere Informationen zur Verwendung einer höheren Netzwerkbandbreite
- GPU-Preisübersicht