Crea una VM A3, A2 o G2

Mantieni tutto organizzato con le raccolte Salva e classifica i contenuti in base alle tue preferenze.

Questo documento spiega come creare una VM che utilizza un tipo di macchina delle serie A3 High, A3 Mega, A3 Edge, A2 e G2. Per scoprire di più sulla creazione di VM con GPU collegate, consulta la Panoramica della creazione di un'istanza con GPU collegate.

Prima di iniziare

• Per esaminare le limitazioni e i passaggi di prerequisito aggiuntivi per la creazione di istanze con GPU collegate, ad esempio la selezione di un'immagine del sistema operativo e il controllo della quota GPU, consulta la Panoramica della creazione di un'istanza con GPU collegate.
• Se non l'hai ancora fatto, configura l'autenticazione. L'autenticazione è il processo mediante il quale la tua identità viene verificata per l'accesso a servizi e API. Google Cloud Per eseguire codice o esempi da un ambiente di sviluppo locale, puoi autenticarti su Compute Engine selezionando una delle seguenti opzioni:
  

  Select the tab for how you plan to use the samples on this page:

  Console

  When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

  gcloud

  1. After installing the Google Cloud CLI, initialize it by running the following command:

     gcloud init

     If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  2. Set a default region and zone.

  REST

  Per utilizzare gli esempi dell'API REST in questa pagina in un ambiente di sviluppo locale, utilizza le credenziali fornite a gcloud CLI.

  After installing the Google Cloud CLI, initialize it by running the following command:

  gcloud init

  If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  Per ulteriori informazioni, consulta Eseguire l'autenticazione per l'utilizzo di REST nella documentazione Google Cloud sull'autenticazione.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare VM, chiedi all'amministratore di concederti il ruolo IAM Amministratore istanze Compute (v1) (roles/compute.instanceAdmin.v1) nel progetto. Per ulteriori informazioni sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito contiene le autorizzazioni necessarie per creare VM. Per visualizzare le autorizzazioni esatte richieste, espandi la sezione Autorizzazioni richieste:

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Crea una VM con GPU collegate

Puoi creare una VM ottimizzata per l'acceleratore A3 High, A3 Mega, A3 Edge, A2 o G2 utilizzando la console Google Cloud, Google Cloud CLI o REST.

Per apportare alcune personalizzazioni alle VM G2, potrebbe essere necessario utilizzare Google Cloud CLI o REST. Consulta le limitazioni di G2.

  gcloud compute instances create VM_NAME \
      --machine-type=MACHINE_TYPE \
      --zone=ZONE \
      --boot-disk-size=DISK_SIZE \
      --image=IMAGE \
      --image-project=IMAGE_PROJECT \
      --maintenance-policy=TERMINATE \
      [--provisioning-model=SPOT] \
      [--accelerator=type=nvidia-l4-vws,count=VWS_ACCELERATOR_COUNT]
  

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
"machineType": "projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
"disks":
[
  {
    "type": "PERSISTENT",
    "initializeParams":
    {
      "diskSizeGb": "DISK_SIZE",
      "sourceImage": "SOURCE_IMAGE_URI"
    },
    "boot": true
  }
],
"name": "VM_NAME",
"networkInterfaces":
[
  {
    "network": "projects/PROJECT_ID/global/networks/NETWORK"
  }
],
"scheduling":
{
  "onHostMaintenance": "terminate",
  ["automaticRestart": true]
},
}

Installa i driver

Affinché la VM utilizzi la GPU, devi installare il driver GPU sulla VM.

Esempi

In questi esempi, la maggior parte delle VM viene creata utilizzando Google Cloud CLI. Tuttavia, puoi anche utilizzare la console Google Cloud o il protocollo REST per creare queste VM.

Gli esempi riportati di seguito mostrano come creare VM utilizzando le seguenti immagini:

• Immagini VM per il deep learning. Questo esempio utilizza la VM A2 Standard (a2-highgpu-1g).
• Immagine ottimizzata per i container (COS). Questo esempio utilizza una VM a3-highgpu-8g o a3-edgegpu-8g.

• Immagine pubblica. Questo esempio utilizza una VM G2.

GPU a più istanze (solo VM A3 e A2)

Una GPU multi-istanza suddivide una singola GPU NVIDIA H100 o A100 all'interno della stessa VM in un massimo di sette istanze GPU indipendenti. Vengono eseguiti contemporaneamente, ognuno con la propria memoria, cache e multiprocessori streaming. Questa configurazione consente alla GPU NVIDIA H100 o A100 di offrire una qualità del servizio (QoS) garantita con un utilizzo fino a 7 volte superiore rispetto ai modelli di GPU precedenti.

Puoi creare fino a sette GPU multi-istanza. Per le GPU A100 da 40 GB, a ogni GPU multi-istanza vengono allocati 5 GB di memoria. Con le GPU A100 da 80 GB e H100 da 80 GB, la memoria allocata raddoppia a 10 GB ciascuna.

Per ulteriori informazioni sull'utilizzo delle GPU multi-istanza, consulta la Guida per l'utente delle GPU multi-istanza NVIDIA.

Per creare GPU multi-istanza, completa i seguenti passaggi:

1. Crea una VM ottimizzata per l'acceleratore A3 High, A3 Mega, A3 Edge o A2.

2. Attiva i driver GPU NVIDIA.

3. Attiva le GPU a più istanze.

   sudo nvidia-smi -mig 1
   

4. Esamina le forme GPU a più istanze disponibili.

   sudo nvidia-smi mig --list-gpu-instance-profiles
   

   L'output è simile al seguente:

   +-----------------------------------------------------------------------------+
   | GPU instance profiles:                                                      |
   | GPU   Name             ID    Instances   Memory     P2P    SM    DEC   ENC  |
   |                              Free/Total   GiB              CE    JPEG  OFA  |
   |=============================================================================|
   |   0  MIG 1g.10gb       19     7/7        9.62       No     16     1     0   |
   |                                                             1     1     0   |
   +-----------------------------------------------------------------------------+
   |   0  MIG 1g.10gb+me    20     1/1        9.62       No     16     1     0   |
   |                                                             1     1     1   |
   +-----------------------------------------------------------------------------+
   |   0  MIG 1g.20gb       15     4/4        19.50      No     26     1     0   |
   |                                                             1     1     0   |
   +-----------------------------------------------------------------------------+
   |   0  MIG 2g.20gb       14     3/3        19.50      No     32     2     0   |
   |                                                             2     2     0   |
   +-----------------------------------------------------------------------------+
   |   0  MIG 3g.40gb        9     2/2        39.25      No     60     3     0   |
   |                                                             3     3     0   |
   +-----------------------------------------------------------------------------+
   .......
   

5. Crea la GPU a più istanze (GI) e le istanze di calcolo (CI) associate che ti interessano. Puoi creare queste istanze specificando il nome completo o abbreviato del profilo, l'ID profilo o una combinazione di entrambi. Per ulteriori informazioni, consulta la sezione Creare istanze GPU.

   L'esempio seguente crea due istanze GPU MIG 3g.20gb utilizzando l'ID profilo (9).

   Viene specificato anche il flag -C, che crea le istanze di calcolo associate per il profilo richiesto.

   sudo nvidia-smi mig -cgi 9,9 -C
   

6. Verifica che le due GPU a più istanze siano state create:

   sudo nvidia-smi mig -lgi
   

7. Verifica che siano stati creati sia gli IG sia i CI corrispondenti.

   sudo nvidia-smi
   

   L'output è simile al seguente:

   +-----------------------------------------------------------------------------+
   | NVIDIA-SMI 525.125.06   Driver Version: 525.125.06   CUDA Version: 12.0     |
   |-------------------------------+----------------------+----------------------+
   | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
   | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
   |                               |                      |               MIG M. |
   |===============================+======================+======================|
   |   0  NVIDIA H100 80G...  Off  | 00000000:04:00.0 Off |                   On |
   | N/A   33C    P0    70W / 700W |     39MiB / 81559MiB |     N/A      Default |
   |                               |                      |              Enabled |
   +-------------------------------+----------------------+----------------------+
   |   1  NVIDIA H100 80G...  Off  | 00000000:05:00.0 Off |                   On |
   | N/A   32C    P0    69W / 700W |     39MiB / 81559MiB |     N/A      Default |
   |                               |                      |              Enabled |
   +-------------------------------+----------------------+----------------------+
   ......
   
   +-----------------------------------------------------------------------------+
   | MIG devices:                                                                |
   +------------------+----------------------+-----------+-----------------------+
   | GPU  GI  CI  MIG |         Memory-Usage |        Vol|         Shared        |
   |      ID  ID  Dev |           BAR1-Usage | SM     Unc| CE  ENC  DEC  OFA  JPG|
   |                  |                      |        ECC|                       |
   |==================+======================+===========+=======================|
   |  0    1   0   0  |     19MiB / 40192MiB | 60      0 |  3   0    3    0    3 |
   |                  |      0MiB / 65535MiB |           |                       |
   +------------------+----------------------+-----------+-----------------------+
   |  0    2   0   1  |     19MiB / 40192MiB | 60      0 |  3   0    3    0    3 |
   |                  |      0MiB / 65535MiB |           |                       |
   +------------------+----------------------+-----------+-----------------------+
   ......
   
   +-----------------------------------------------------------------------------+
   | Processes:                                                                  |
   |  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
   |        ID   ID                                                   Usage      |
   |=============================================================================|
   |  No running processes found                                                 |
   +-----------------------------------------------------------------------------+
   

Passaggi successivi

• Scopri di più sulle piattaforme GPU.
• Aggiungi SSD locali alle tue istanze. I dispositivi SSD locali si accoppiano bene con le GPU quando le tue app richiedono uno spazio di archiviazione ad alte prestazioni.
• Installa i driver GPU.
• Se hai attivato una workstation virtuale NVIDIA RTX, installa un driver per la workstation virtuale.
• Per gestire la manutenzione dell'host GPU, consulta Gestione degli eventi di manutenzione dell'host GPU.