Des bandes passantes réseau plus élevées peuvent améliorer les performances de vos instances GPU pour prendre en charge les charges de travail distribuées exécutées sur Compute Engine.
La bande passante réseau maximale disponible pour les instances auxquelles sont associés des GPU sur Compute Engine est la suivante:
- Pour les instances optimisées pour les accélérateurs A4 et A3, vous pouvez obtenir une bande passante réseau maximale de 3 600 Gbit/s, en fonction du type de machine.
- Pour les instances optimisées pour les accélérateurs A2 et G2, vous pouvez obtenir une bande passante réseau maximale de 100 Gbit/s, en fonction du type de machine.
- Pour les instances à usage général N1 auxquelles sont associés des GPU P100 et P4, la bande passante réseau maximale disponible est de 32 Gbit/s. Ce débit est semblable au débit maximal disponible pour les instances N1 sans GPU associé. Pour en savoir plus sur les bandes passantes réseau, consultez la section Débit maximal de sortie de données.
- Pour les instances à usage général N1 auxquelles sont associés des GPU T4 et V100, vous pouvez obtenir une bande passante réseau maximale de 100 Gbit/s, en fonction de la combinaison du nombre de GPU et de processeurs virtuels.
Vérifier la bande passante réseau et la configuration des cartes d'interface réseau
Consultez la section suivante pour examiner la configuration réseau et la vitesse de bande passante pour chaque type de machine avec GPU.
Types de machines A4 et A3 Ultra
Les types de machines A4 sont associés à des GPU NVIDIA B200, tandis que les types de machines A3 Ultra sont associés à des GPU NVIDIA H200 de 141 Go.
Ces types de machines fournissent huit cartes d'interface réseau (NIC) NVIDIA ConnectX-7 (CX7) et deux cartes d'interface réseau virtuelle Google (gVNIC). Les huit NIC CX7 offrent une bande passante réseau totale de 3 200 Gbit/s. Ces cartes réseau sont dédiées uniquement à la communication entre GPU à bande passante élevée et ne peuvent pas être utilisées pour d'autres besoins réseau tels que l'accès Internet public. Comme indiqué dans le schéma suivant, chaque carte d'interface réseau CX7 est alignée sur un GPU pour optimiser l'accès non uniforme à la mémoire (NUMA). Les huit GPU peuvent communiquer rapidement entre eux à l'aide du pont NVLink tout-à-tout qui les relie. Les deux autres cartes d'interface réseau gVNIC sont des NIC intelligentes qui fournissent 400 Gbit/s de bande passante réseau supplémentaire pour les besoins de mise en réseau à usage général. Combinées, les cartes d'interface réseau offrent une bande passante réseau maximale totale de 3 600 Gbit/s pour ces machines.
Pour utiliser ces plusieurs NIC, vous devez créer trois réseaux cloud privé virtuel comme suit:
- 2 réseaux VPC: chaque carte d'interface réseau gVNIC doit être associée à un réseau VPC distinct
- 1 réseau VPC pour RDMA : les huit NIC CX7 partagent le même réseau VPC
Pour configurer ces réseaux, consultez la section Créer des réseaux VPC dans la documentation de l'hyperordinateur d'IA.
VM A4
| Type de machine | Nombre de GPU | Mémoire GPU* (Go HBM3e) |
Nombre de vCPU† | Mémoire VM (Go) | SSD local associé (Gio) | Nombre de cartes d'interface réseau physiques | Bande passante réseau maximale (Gbit/s)‡ |
|---|---|---|---|---|---|---|---|
a4-highgpu-8g |
8 | 1 440 | 224 | 3 968 | 12 000 | 10 | 3 600 |
*La mémoire du GPU est la mémoire d'un appareil GPU pouvant être utilisée pour le stockage temporaire de données. Elle est distincte de la mémoire de la VM et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail gourmandes en ressources graphiques.
†Un processeur virtuel est implémenté sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
‡ La bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs.
Consultez la page Bande passante réseau.
VM A3 Ultra
| Type de machine | Nombre de GPU | Mémoire GPU* (Go HBM3e) |
Nombre de vCPU† | Mémoire VM (Go) | SSD local associé (Gio) | Nombre de cartes d'interface réseau physiques | Bande passante réseau maximale (Gbit/s)‡ |
|---|---|---|---|---|---|---|---|
a3-ultragpu-8g |
8 | 1128 | 224 | 2 952 | 12 000 | 10 | 3 600 |
*La mémoire du GPU est la mémoire d'un appareil GPU pouvant être utilisée pour le stockage temporaire de données. Elle est distincte de la mémoire de la VM et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail gourmandes en ressources graphiques.
†Un processeur virtuel est implémenté sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
‡ La bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs.
Consultez la page Bande passante réseau.
Types de machines A3 Mega, High et Edge
Ces types de machines sont associés à des GPU H100 de 80 Go. Chacun de ces types de machines possède un nombre de GPU, un nombre de vCPU et une taille de mémoire fixes.
- VM A3 avec une seule carte d'interface réseau: pour les VM A3 associées à un à quatre GPU, une seule carte d'interface réseau (NIC) physique est disponible.
- VM A3 à plusieurs cartes d'interface réseau: pour les VM A3 avec huit GPU associés, plusieurs cartes d'interface réseau physiques sont disponibles. Pour ces types de machines A3, les NIC sont organisées comme suit sur un bus Peripheral Component Interconnect Express (PCIe) :
- Pour le type de machine A3 Mega : une configuration de carte d'interface réseau de 8+1 est disponible. Avec cet agencement, huit cartes d'interface réseau partagent le même bus PCIe et une carte d'interface réseau réside sur un bus PCIe distinct.
- Pour le type de machine A3 High : une configuration de carte d'interface réseau de 4+1 est disponible. Avec cet agencement, quatre cartes d'interface réseau partagent le même bus PCIe et une carte d'interface réseau réside sur un bus PCIe distinct.
- Pour le type de machine A3 Edge: une configuration de carte d'interface réseau de 4+1 est disponible. Avec cet agencement, quatre cartes d'interface réseau partagent le même bus PCIe et une carte d'interface réseau réside sur un bus PCIe distinct. Ces cinq cartes réseau fournissent une bande passante réseau totale de 400 Gbit/s pour chaque VM.
Les cartes d'interface réseau qui partagent le même bus PCIe ont un alignement non uniforme d'accès à la mémoire (NUMA) d'une carte d'interface réseau pour deux GPU NVIDIA H100 80 Go. Ces cartes réseau sont idéales pour la communication entre GPU à bande passante élevée. La carte réseau physique qui réside sur un bus PCIe distinct est idéale pour d'autres besoins de mise en réseau. Pour savoir comment configurer la mise en réseau des VM A3 High et A3 Edge, consultez la section Configurer des réseaux avec une MTU de trame géante.
A3 Mega
| Type de machine | Nombre de GPU | Mémoire GPU* (GB HBM3) |
Nombre de vCPU† | Mémoire VM (Go) | SSD local associé (Gio) | Nombre de cartes d'interface réseau physiques | Bande passante réseau maximale (Gbit/s)‡ |
|---|---|---|---|---|---|---|---|
a3-megagpu-8g |
8 | 640 | 208 | 1 872 | 6 000 | 9 | 1 800 |
A3 High
| Type de machine | Nombre de GPU | Mémoire GPU* (GB HBM3) |
Nombre de vCPU† | Mémoire VM (Go) | SSD local associé (Gio) | Nombre de cartes d'interface réseau physiques | Bande passante réseau maximale (Gbit/s)‡ |
|---|---|---|---|---|---|---|---|
a3-highgpu-1g |
1 | 80 | 26 | 234 | 750 | 1 | 25 |
a3-highgpu-2g |
2 | 160 | 52 | 468 | 1 500 | 1 | 50 |
a3-highgpu-4g |
4 | 320 | 104 | 936 | 3 000 | 1 | 100 |
a3-highgpu-8g |
8 | 640 | 208 | 1 872 | 6 000 | 5 | 1 000 |
A3 Edge
| Type de machine | Nombre de GPU | Mémoire GPU* (GB HBM3) |
Nombre de vCPU† | Mémoire VM (Go) | SSD local associé (Gio) | Nombre de cartes d'interface réseau physiques | Bande passante réseau maximale (Gbit/s)‡ |
|---|---|---|---|---|---|---|---|
a3-edgegpu-8g |
8 | 640 | 208 | 1 872 | 6 000 | 5 |
|
*La mémoire du GPU est la mémoire d'un appareil GPU pouvant être utilisée pour le stockage temporaire de données. Elle est distincte de la mémoire de la VM et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail gourmandes en ressources graphiques.
†Un processeur virtuel est implémenté sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
‡ La bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs.
Consultez la page Bande passante réseau.
Types de machines A2
Chaque type de machine A2 est associé à un nombre fixe de GPU NVIDIA A100 40 Go ou NVIDIA A100 80 Go. Chaque type de machine possède également un nombre de processeurs virtuels et une taille de mémoire fixes.
La série de machines A2 est disponible en deux types :
- A2 Ultra : ces types de machines sont associés à des GPU A100 de 80 Go et à des disques SSD locaux.
- A2 Standard : ces types de machines sont associés à des GPU A100 de 40 Go.
A2 ultra
| Type de machine | Nombre de GPU | Mémoire GPU* (GB HBM3) |
Nombre de vCPU† | Mémoire VM (Go) | SSD local associé (Gio) | Bande passante réseau maximale (Gbit/s)‡ |
|---|---|---|---|---|---|---|
a2-ultragpu-1g |
1 | 80 | 12 | 170 | 375 | 24 |
a2-ultragpu-2g |
2 | 160 | 24 | 340 | 750 | 32 |
a2-ultragpu-4g |
4 | 320 | 48 | 680 | 1 500 | 50 |
a2-ultragpu-8g |
8 | 640 | 96 | 1 360 | 3 000 | 100 |
A2 standard
| Type de machine | Nombre de GPU | Mémoire GPU* (GB HBM3) |
Nombre de vCPU† | Mémoire VM (Go) | SSD local associé (Gio) | Bande passante réseau maximale (Gbit/s)‡ |
|---|---|---|---|---|---|---|
a2-highgpu-1g |
1 | 40 | 12 | 85 | Oui | 24 |
a2-highgpu-2g |
2 | 80 | 24 | 170 | Oui | 32 |
a2-highgpu-4g |
4 | 160 | 48 | 340 | Oui | 50 |
a2-highgpu-8g |
8 | 320 | 96 | 680 | Oui | 100 |
a2-megagpu-16g |
16 | 640 | 96 | 1 360 | Oui | 100 |
*La mémoire du GPU est la mémoire d'un appareil GPU pouvant être utilisée pour le stockage temporaire de données. Elle est distincte de la mémoire de la VM et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail gourmandes en ressources graphiques.
†Un processeur virtuel est implémenté sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
‡ La bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs.
Consultez la page Bande passante réseau.
Types de machines G2
Chaque type de machine G2 est associé à un nombre fixe de GPU NVIDIA L4 et de processeurs virtuels. Chaque type de machine G2 dispose également d'une mémoire par défaut et d'une plage de mémoire personnalisée. La plage de mémoire personnalisée définit la quantité de mémoire que vous pouvez allouer à votre VM pour chaque type de machine. Vous pouvez spécifier votre mémoire personnalisée lors de la création de la VM.
Pour obtenir les débits de bande passante réseau plus élevés (50 Gbit/s ou plus) appliqués à la plupart des instances GPU, il est recommandé d'utiliser la carte d'interface réseau virtuelle Google (gVNIC). Pour en savoir plus sur la création d'instances de GPU qui utilisent gVNIC, consultez la section Créer des instances de GPU qui utilisent des bandes passantes plus élevées.
| Type de machine | Nombre de GPU | Mémoire GPU* (Go GDDR6) | Nombre de vCPU† | Mémoire VM par défaut (Go) | Plage de mémoire personnalisée VM (Go) | Disque SSD local maximal compatible (Gio) | Bande passante réseau maximale (Gbit/s)‡ |
|---|---|---|---|---|---|---|---|
g2-standard-4 |
1 | 24 | 4 | 16 | Entre 16 et 32 | 375 | 10 |
g2-standard-8 |
1 | 24 | 8 | 32 | Entre 32 et 54 | 375 | 16 |
g2-standard-12 |
1 | 24 | 12 | 48 | Entre 48 et 54 | 375 | 16 |
g2-standard-16 |
1 | 24 | 16 | 64 | Entre 54 et 64 | 375 | 32 |
g2-standard-24 |
2 | 48 | 24 | 96 | Entre 96 et 108 | 750 | 32 |
g2-standard-32 |
1 | 24 | 32 | 128 | Entre 96 et 128 | 375 | 32 |
g2-standard-48 |
4 | 96 | 48 | 192 | Entre 192 et 216 | 1 500 | 50 |
g2-standard-96 |
8 | 192 | 96 | 384 | Entre 384 et 432 | 3 000 | 100 |
*La mémoire du GPU est la mémoire d'un appareil GPU pouvant être utilisée pour le stockage temporaire de données. Elle est distincte de la mémoire de la VM et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail gourmandes en ressources graphiques.
†Un processeur virtuel est implémenté sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
‡ La bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs.
Consultez la page Bande passante réseau.
Types de machines N1 + GPU
Pour les instances à usage général N1 auxquelles sont associés des GPU T4 et V100, vous pouvez obtenir une bande passante réseau maximale de 100 Gbit/s, en fonction de la combinaison du nombre de GPU et de processeurs virtuels. Pour toutes les autres instances GPU N1, consultez la page Présentation.
Consultez la section suivante pour calculer la bande passante réseau maximale disponible pour vos instances T4 et V100 en fonction du modèle de GPU, du processeur virtuel et du nombre de GPU.
Moins de cinq processeurs virtuels
Pour les instances T4 et V100 comportant cinq processeurs virtuels ou moins, la bande passante réseau maximale disponible est de 10 Gbit/s.
Plus de cinq processeurs virtuels
Pour les instances T4 et V100 comportant plus de cinq processeurs virtuels, la bande passante réseau maximale est calculée en fonction du nombre de processeurs virtuels et de GPU pour cette VM.
Pour obtenir les débits de bande passante réseau plus élevés (50 Gbit/s ou plus) appliqués à la plupart des instances GPU, il est recommandé d'utiliser la carte d'interface réseau virtuelle Google (gVNIC). Pour en savoir plus sur la création d'instances de GPU qui utilisent gVNIC, consultez la section Créer des instances de GPU qui utilisent des bandes passantes plus élevées.
| Modèle GPU | Number of GPUs | Calcul de la bande passante réseau maximale |
|---|---|---|
| NVIDIA V100 | 1 | min(vcpu_count * 2, 32) |
| 2 | min(vcpu_count * 2, 32) |
|
| 4 | min(vcpu_count * 2, 50) |
|
| 8 | min(vcpu_count * 2, 100) |
|
| NVIDIA T4 | 1 | min(vcpu_count * 2, 32) |
| 2 | min(vcpu_count * 2, 50) |
|
| 4 | min(vcpu_count * 2, 100) |
Créer des machines GPU à bande passante élevée
Pour créer des instances GPU qui utilisent des bandes passantes réseau plus élevées, utilisez l'une des méthodes suivantes en fonction du type de machine:
Pour créer des instances A2, G2 et N1 qui utilisent des bandes passantes réseau plus élevées, consultez la section Utiliser une bande passante réseau plus élevée pour les instances A2, G2 et N1. Pour tester ou vérifier la vitesse de bande passante de ces machines, vous pouvez utiliser le test d'analyse comparative. Pour en savoir plus, consultez la section Vérifier la bande passante réseau.
Pour créer des instances A3 Mega qui utilisent des bandes passantes réseau plus élevées, consultez Déployer un cluster Slurm A3 Mega pour l'entraînement ML. Pour tester ou vérifier la vitesse de bande passante de ces machines, utilisez un test d'analyse comparative en suivant les étapes de la section Vérifier la bande passante réseau.
Pour les instances A3 High et A3 Edge qui utilisent des bandes passantes réseau plus élevées, consultez la section Créer une VM A3 avec GPUDirect-TCPX activé. Pour tester ou vérifier la vitesse de bande passante de ces machines, vous pouvez utiliser le test d'analyse comparative. Pour en savoir plus, consultez la section Vérifier la bande passante réseau.
Pour les autres types de machines optimisés pour les accélérateurs, aucune action n'est requise pour utiliser une bande passante réseau plus élevée. La création d'une instance, comme indiqué dans la documentation, utilise déjà une bande passante réseau élevée. Pour savoir comment créer des instances pour d'autres types de machines optimisés pour les accélérateurs, consultez la section Créer une VM à laquelle sont associés des GPU.
Étape suivante
- Apprenez-en plus sur les plates-formes GPU.
- Découvrez comment créer des instances avec des GPU associés.
- Découvrez comment utiliser une bande passante réseau plus élevée.
- Consultez les tarifs des GPU.