Crea un'istanza A3 Ultra o A4

Questo documento descrive come creare istanze con GPU collegate della serie di macchine A3 Ultra o A4. Per scoprire di più sulla creazione di istanze con GPU collegate, consulta la Panoramica della creazione di un'istanza con GPU collegate.

Prima di iniziare

• Per esaminare le limitazioni e i passaggi di prerequisito aggiuntivi per la creazione di istanze con GPU collegate, ad esempio la selezione di un'immagine del sistema operativo e il controllo della quota GPU, consulta la Panoramica della creazione di un'istanza con GPU collegate.
• Se non l'hai ancora fatto, configura l'autenticazione. L'autenticazione è il processo mediante il quale la tua identità viene verificata per l'accesso a servizi e API. Google Cloud Per eseguire codice o esempi da un ambiente di sviluppo locale, puoi autenticarti in Compute Engine selezionando una delle seguenti opzioni:
  

  Select the tab for how you plan to use the samples on this page:

  Console

  When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

  gcloud

  1. After installing the Google Cloud CLI, initialize it by running the following command:

     gcloud init

     If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  2. Set a default region and zone.

  REST

  Per utilizzare gli esempi dell'API REST in questa pagina in un ambiente di sviluppo locale, utilizza le credenziali fornite all'interfaccia alla gcloud CLI.

  After installing the Google Cloud CLI, initialize it by running the following command:

  gcloud init

  If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  Per ulteriori informazioni, consulta Eseguire l'autenticazione per l'utilizzo di REST nella Google Cloud documentazione sull'autenticazione.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare istanze, chiedi all'amministratore di concederti il ruolo IAM Amministratore istanze Compute (v1) (roles/compute.instanceAdmin.v1) nel progetto. Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito contiene le autorizzazioni necessarie per creare istanze. Per visualizzare le autorizzazioni esatte richieste, espandi la sezione Autorizzazioni richieste:

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Crea un'istanza A3 Ultra o A4

Le istanze A3 Ultra o A4 sono disponibili tramite le seguenti opzioni di creazione, ciascuna con procedure di creazione, disponibilità delle risorse e prezzi diversi. Identifica l'opzione che vuoi utilizzare in base al tuo carico di lavoro.

• Se devi eseguire carichi di lavoro di AI e ML di lunga durata, come l'addestramento e l'inferenza di modelli di grandi dimensioni che richiedono la latenza più bassa, ti consigliamo di creare VM o cluster che possano utilizzare le funzionalità e i servizi disponibili da Cluster Director. Con Cluster Director, puoi prenotare macchine con allocazione elevata che forniscono pianificazione basata sulla topologia e monitoraggio e manutenzione avanzati di questa capacità riservata. Per scoprire di più su Cluster Director, consulta Cluster Director nella documentazione di AI Hypercomputer.

  Per istruzioni su come creare istanze A3 Ultra o A4, consulta la Panoramica della creazione di VM e cluster nella documentazione di AI Hypercomputer.

• Se devi eseguire workload AI e ML con priorità inferiore, scegli una delle seguenti opzioni:

  • Se i tuoi carichi di lavoro possono essere avviati in qualsiasi momento e richiedono un numero esatto di VM per essere avviati, puoi utilizzare le richieste di ridimensionamento in un gruppo di istanze gestite (MIG). Con le richieste di ridimensionamento del gruppo di istanze gestite, chiedi a Compute Engine di aggiungere tutte le VM contemporaneamente al gruppo di istanze gestite ogni volta che le risorse richieste sono disponibili. Queste VM possono essere eseguite per un massimo di sette giorni. Poiché le risorse vengono fornite da un pool protetto, hai maggiori probabilità di ottenere GPU rispetto a una richiesta on demand.

    Per ulteriori informazioni sulle richieste di ridimensionamento dei MIG, consulta la pagina Informazioni sulle richieste di ridimensionamento in un gruppo di istanze gestite.

  • Se i tuoi carichi di lavoro sono tolleranti alle interruzioni di disponibilità, puoi ottenere sconti significativi utilizzando le VM spot. Sebbene tu possa creare ed eliminare le VM spot in base alle tue esigenze, queste sono risorse limitate che potrebbero non essere sempre disponibili e Compute Engine potrebbe prerilasciare (arrestare o eliminare automaticamente) le VM spot in qualsiasi momento. Per scoprire di più sulle VM spot, consulta VM spot.

    Per istruzioni su come creare istanze A3 Ultra o A4 utilizzando le VM spot, consulta la sezione Creare un'istanza A3 Ultra o A4 utilizzando le VM spot di questo documento.

Creare un'istanza A3 Ultra o A4 utilizzando le VM spot

Per creare un'istanza A3 Ultra o A4 utilizzando le VM spot, completa i passaggi nelle sezioni seguenti:

1. Crea reti VPC.
2. Crea la VM spot.
3. Prepara una VM Spot con GPU collegate per l'utilizzo.

Crea reti VPC

Per il tipo di macchina A4 o A3 Ultra, devi creare tre reti VPC per le seguenti interfacce di rete:

• 2 reti VPC per le interfacce di rete (NIC) gVNIC. Vengono utilizzati per la comunicazione tra host.
• Per le NIC CX7 è necessaria 1 rete VPC con il profilo di rete RDMA. Questa rete deve avere 8 subnet, una per ogni NIC CX7, e viene utilizzata per la comunicazione tra GPU.

Per ulteriori informazioni sull'organizzazione delle NIC, consulta Esaminare la larghezza di banda della rete e l'organizzazione delle NIC.

Configura le emittenti manualmente seguendo le guide alle istruzioni o automaticamente utilizzando lo script fornito.

  #!/bin/bash

  # Create standard VPCs (network and subnets) for the gVNICs
  for N in $(seq 0 1); do
    gcloud compute networks create GVNIC_NAME_PREFIX-net-$N \
      --subnet-mode=custom \
      --mtu=8896

    gcloud compute networks subnets create GVNIC_NAME_PREFIX-sub-$N \
      --network=GVNIC_NAME_PREFIX-net-$N \
      --region=REGION \
      --range=10.$N.0.0/16

    gcloud compute firewall-rules create GVNIC_NAME_PREFIX-internal-$N \
      --network=GVNIC_NAME_PREFIX-net-$N \
      --action=ALLOW \
      --rules=tcp:0-65535,udp:0-65535,icmp \
      --source-ranges=10.0.0.0/8
  done

  # Create SSH firewall rules
  gcloud compute firewall-rules create GVNIC_NAME_PREFIX-ssh \
    --network=GVNIC_NAME_PREFIX-net-0 \
    --action=ALLOW \
    --rules=tcp:22 \
    --source-ranges=IP_RANGE

  # Assumes that an external IP is only created for vNIC 0
  gcloud compute firewall-rules create GVNIC_NAME_PREFIX-allow-ping-net-0 \
    --network=GVNIC_NAME_PREFIX-net-0 \
    --action=ALLOW \
    --rules=icmp \
    --source-ranges=IP_RANGE

  # List and make sure network profiles exist
  gcloud compute network-profiles list

  # Create network for CX-7
  gcloud compute networks create RDMA_NAME_PREFIX-mrdma \
    --network-profile=ZONE-vpc-roce \
    --subnet-mode custom \
    --mtu=8896

  # Create subnets.
  for N in $(seq 0 7); do
    gcloud compute networks subnets create RDMA_NAME_PREFIX-mrdma-sub-$N \
      --network=RDMA_NAME_PREFIX-mrdma \
      --region=REGION \
      --range=10.$((N+2)).0.0/16 # offset to avoid overlap with gVNICs
  done
  

Crea la VM Spot

Per creare la VM spot, utilizza uno dei seguenti metodi:

gcloud compute instances create VM_NAME  \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --zone=ZONE \
    --boot-disk-type=hyperdisk-balanced \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-0,subnet=GVNIC_NAME_PREFIX-sub-0 \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-1,subnet=GVNIC_NAME_PREFIX-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-0,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-2,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-3,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-4,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-5,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-6,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-7,no-address \
    --provisioning-model=SPOT \
    --instance-termination-action=TERMINATION_ACTION

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
  "machineType":"projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
  "name":"VM_NAME",
  "disks":[
    {
      "boot":true,
      "initializeParams":{
        "diskSizeGb":"DISK_SIZE",
        "diskType":"hyperdisk-balanced",
        "sourceImage":"projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
      },
      "mode":"READ_WRITE",
      "type":"PERSISTENT"
    }
  ],
  "networkInterfaces": [
    {
      "accessConfigs": [
        {
          "name": "external-nat",
          "type": "ONE_TO_ONE_NAT"
        }
      ],
      "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-0",
      "nicType": "GVNIC",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-0"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-1",
      "nicType": "GVNIC",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-1"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-0"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-1"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-2"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-3"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-4"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-5"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-6"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-7"
    }
  ],
  "scheduling":
  {
    "provisioningModel": "SPOT",
    "instanceTerminationAction": "TERMINATION_ACTION"
  }
}

Preparare una VM spot con GPU collegate per l'utilizzo

Per preparare una VM Spot con GPU collegate per l'utilizzo, completa i seguenti passaggi:

1. Per consentire a un'istanza di utilizzare le GPU collegate, sono necessari i driver GPU. A meno che tu non abbia specificato un'immagine che includa già i driver GPU richiesti, segui la procedura per installare i driver GPU.
2. Per preparare una VM spot per l'utilizzo, completa i seguenti passaggi:
   • Per scoprire come assicurarti che una VM spot possa resistere alla preemption, consulta Gestire la preemption delle VM spot.
   • (Facoltativo) Scopri le best practice per l'utilizzo delle VM spot.

Passaggi successivi

• Per monitorare le prestazioni della GPU, consulta Monitorare le prestazioni della GPU.
• Per risolvere i problemi relativi alle istanze GPU, consulta Risolvere i problemi delle VM GPU.
• Scopri di più sulle piattaforme GPU.