A3-, A2- oder G2-VM erstellen

Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.

In diesem Dokument wird beschrieben, wie Sie eine VM erstellen, die einen Maschinentyp aus der A3 High-, A3 Mega-, A3 Edge-, A2- oder G2-Maschinenserie verwendet. Weitere Informationen zum Erstellen von VMs mit angehängten GPUs finden Sie unter Instanz mit angehängten GPUs erstellen.

Hinweise

• Informationen zu Einschränkungen und zusätzlichen erforderlichen Schritten zum Erstellen von Instanzen mit angehängten GPUs, z. B. zum Auswählen eines Betriebssystem-Images und zum Prüfen des GPU-Kontingents, finden Sie unter Instanz mit angehängten GPUs erstellen.
• Richten Sie die Authentifizierung ein, falls Sie dies noch nicht getan haben. Bei der Authentifizierung wird Ihre Identität für den Zugriff auf Google Cloud Dienste und APIs überprüft. Zur Ausführung von Code oder Beispielen aus einer lokalen Entwicklungsumgebung können Sie sich bei Compute Engine authentifizieren. Wählen Sie dazu eine der folgenden Optionen aus:
  

  Select the tab for how you plan to use the samples on this page:

  Console

  When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

  gcloud

  1. After installing the Google Cloud CLI, initialize it by running the following command:

     gcloud init

     If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  2. Set a default region and zone.

  REST

  Verwenden Sie die von der gcloud CLI bereitgestellten Anmeldedaten, um die REST API-Beispiele auf dieser Seite in einer lokalen Entwicklungsumgebung zu verwenden.

  After installing the Google Cloud CLI, initialize it by running the following command:

  gcloud init

  If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  Weitere Informationen finden Sie unter Für die Verwendung von REST authentifizieren in der Dokumentation zur Google Cloud-Authentifizierung.

Erforderliche Rollen

Um die Berechtigungen zu erhalten, die Sie für die Erstellung von VMs benötigen, bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) für das Projekt zu gewähren. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Erstellen von VMs erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

VM mit angehängten GPUs erstellen

Sie können eine A3 High-, A3 Mega-, A3 Edge-, A2- oder G2-Beschleunigeroptimierte VM mit der Google Cloud Console, der Google Cloud CLI oder REST erstellen.

Für einige Anpassungen an Ihren G2-VMs müssen Sie möglicherweise die Google Cloud CLI oder REST verwenden. Siehe G2-Einschränkungen.

  gcloud compute instances create VM_NAME \
      --machine-type=MACHINE_TYPE \
      --zone=ZONE \
      --boot-disk-size=DISK_SIZE \
      --image=IMAGE \
      --image-project=IMAGE_PROJECT \
      --maintenance-policy=TERMINATE \
      [--provisioning-model=SPOT] \
      [--accelerator=type=nvidia-l4-vws,count=VWS_ACCELERATOR_COUNT]
  

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
"machineType": "projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
"disks":
[
  {
    "type": "PERSISTENT",
    "initializeParams":
    {
      "diskSizeGb": "DISK_SIZE",
      "sourceImage": "SOURCE_IMAGE_URI"
    },
    "boot": true
  }
],
"name": "VM_NAME",
"networkInterfaces":
[
  {
    "network": "projects/PROJECT_ID/global/networks/NETWORK"
  }
],
"scheduling":
{
  "onHostMaintenance": "terminate",
  ["automaticRestart": true]
},
}

Treiber installieren

Damit die VM die GPU verwenden kann, müssen Sie den GPU-Treiber auf Ihrer VM installieren.

Beispiele

In diesen Beispielen werden die meisten VMs mithilfe der Google Cloud CLI erstellt. Alternativ können Sie zum Erstellen dieser VMs auch die Google Cloud Console oder REST verwenden.

Die folgenden Beispiele zeigen, wie VMs mit folgenden Images erstellt werden:

• Deep Learning VM Images. In diesem Beispiel wird die A2-Standard-VM (a2-highgpu-1g) verwendet.
• COS-Image (Container-optimized). In diesem Beispiel wird entweder eine a3-highgpu-8g- oder a3-edgegpu-8g-VM verwendet.

• Öffentliches Image In diesem Beispiel wird eine G2-VM verwendet.

GPUs mit mehreren Instanzen (nur A3- und A2-VMs)

Eine GPU mit mehreren Instanzen partitioniert eine einzelne NVIDIA-H100- oder A100-GPU innerhalb derselben VM in bis zu sieben unabhängige GPU-Instanzen. Sie werden gleichzeitig ausgeführt, jeder verfügt über einen eigenen Arbeitsspeicher, Cache und eigene Streaming-Multiprozessoren. Mit dieser Konfiguration kann die NVIDIA H100- oder A100-GPU eine garantierte Dienstqualität mit bis zu siebenmal höherer Leistung im Vergleich zu früheren GPU-Modellen bereitstellen.

Sie können bis zu sieben GPUs mit mehreren Instanzen erstellen. Bei A100-GPUs mit 40 GB wird jeder GPU mit mehreren Instanzen 5 GB Arbeitsspeicher zugewiesen. Mit den A100 80GB- und H100 80GB-GPUs verdoppelt sich der zugewiesene Arbeitsspeicher auf jeweils 10 GB.

Weitere Informationen zur Verwendung von GPUs mit mehreren Instanzen finden Sie im NVIDIA-Nutzerhandbuch für mehrere GPU-Instanzen.

Führen Sie folgende Schritte aus, um GPUs mit mehreren Instanzen zu erstellen:

1. Erstellen Sie eine beschleunigungsoptimierte A3 High-, A3 Mega-, A3 Edge- oder A2-VM.

2. Aktivieren Sie NVIDIA-GPU-Treiber.

3. Aktivieren Sie GPUs mit mehreren Instanzen.

   sudo nvidia-smi -mig 1
   

4. Prüfen Sie die verfügbaren GPU-Formen mit mehreren Instanzen.

   sudo nvidia-smi mig --list-gpu-instance-profiles
   

   Die Ausgabe sieht etwa so aus:

   +-----------------------------------------------------------------------------+
   | GPU instance profiles:                                                      |
   | GPU   Name             ID    Instances   Memory     P2P    SM    DEC   ENC  |
   |                              Free/Total   GiB              CE    JPEG  OFA  |
   |=============================================================================|
   |   0  MIG 1g.10gb       19     7/7        9.62       No     16     1     0   |
   |                                                             1     1     0   |
   +-----------------------------------------------------------------------------+
   |   0  MIG 1g.10gb+me    20     1/1        9.62       No     16     1     0   |
   |                                                             1     1     1   |
   +-----------------------------------------------------------------------------+
   |   0  MIG 1g.20gb       15     4/4        19.50      No     26     1     0   |
   |                                                             1     1     0   |
   +-----------------------------------------------------------------------------+
   |   0  MIG 2g.20gb       14     3/3        19.50      No     32     2     0   |
   |                                                             2     2     0   |
   +-----------------------------------------------------------------------------+
   |   0  MIG 3g.40gb        9     2/2        39.25      No     60     3     0   |
   |                                                             3     3     0   |
   +-----------------------------------------------------------------------------+
   .......
   

5. Erstellen Sie die gewünschte Multi-Instance GPU (GI) und die zugehörigen Compute-Instanzen (CI). Sie können diese Instanzen erstellen, indem Sie entweder den vollständigen oder abgekürzten Profilnamen, die Profil-ID oder eine Kombination aus beiden angeben. Weitere Informationen finden Sie unter GPU-Instanzen erstellen.

   Im folgenden Beispiel werden zwei MIG 3g.20gb-GPU-Instanzen anhand der Profil-ID (9) erstellt.

   Weiter wird das Flag -C angegeben, das die zugehörigen Compute-Instanzen für das erforderliche Profil erstellt.

   sudo nvidia-smi mig -cgi 9,9 -C
   

6. Prüfen Sie, ob die beiden Multi-Instanz-GPUs erstellt wurden:

   sudo nvidia-smi mig -lgi
   

7. Prüfen Sie, ob die GIs und die entsprechenden CIs erstellt wurden.

   sudo nvidia-smi
   

   Die Ausgabe sieht in etwa so aus:

   +-----------------------------------------------------------------------------+
   | NVIDIA-SMI 525.125.06   Driver Version: 525.125.06   CUDA Version: 12.0     |
   |-------------------------------+----------------------+----------------------+
   | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
   | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
   |                               |                      |               MIG M. |
   |===============================+======================+======================|
   |   0  NVIDIA H100 80G...  Off  | 00000000:04:00.0 Off |                   On |
   | N/A   33C    P0    70W / 700W |     39MiB / 81559MiB |     N/A      Default |
   |                               |                      |              Enabled |
   +-------------------------------+----------------------+----------------------+
   |   1  NVIDIA H100 80G...  Off  | 00000000:05:00.0 Off |                   On |
   | N/A   32C    P0    69W / 700W |     39MiB / 81559MiB |     N/A      Default |
   |                               |                      |              Enabled |
   +-------------------------------+----------------------+----------------------+
   ......
   
   +-----------------------------------------------------------------------------+
   | MIG devices:                                                                |
   +------------------+----------------------+-----------+-----------------------+
   | GPU  GI  CI  MIG |         Memory-Usage |        Vol|         Shared        |
   |      ID  ID  Dev |           BAR1-Usage | SM     Unc| CE  ENC  DEC  OFA  JPG|
   |                  |                      |        ECC|                       |
   |==================+======================+===========+=======================|
   |  0    1   0   0  |     19MiB / 40192MiB | 60      0 |  3   0    3    0    3 |
   |                  |      0MiB / 65535MiB |           |                       |
   +------------------+----------------------+-----------+-----------------------+
   |  0    2   0   1  |     19MiB / 40192MiB | 60      0 |  3   0    3    0    3 |
   |                  |      0MiB / 65535MiB |           |                       |
   +------------------+----------------------+-----------+-----------------------+
   ......
   
   +-----------------------------------------------------------------------------+
   | Processes:                                                                  |
   |  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
   |        ID   ID                                                   Usage      |
   |=============================================================================|
   |  No running processes found                                                 |
   +-----------------------------------------------------------------------------+
   

Nächste Schritte

• Weitere Informationen zu GPU-Plattformen
• Lokale SSDs zu Instanzen hinzufügen Lokale SSDs arbeiten gut mit GPUs zusammen, wenn Ihre Anwendungen Hochleistungsspeicher benötigen
• Installieren Sie die GPU-Treiber.
• Wenn Sie die virtuelle NVIDIA RTX-Workstation aktiviert haben, installieren Sie einen Treiber für die virtuelle Workstation.
• GPU-Hostwartungen