A3 Ultra- oder A4-Instanz erstellen

In diesem Dokument wird beschrieben, wie Sie Instanzen mit angehängten GPUs aus der A3 Ultra- oder A4-Rechnerserie erstellen. Weitere Informationen zum Erstellen von Instanzen mit angehängten GPUs finden Sie unter Instanz mit angehängten GPUs erstellen.

Hinweise

• Informationen zu Einschränkungen und zusätzlichen erforderlichen Schritten zum Erstellen von Instanzen mit angehängten GPUs, z. B. zum Auswählen eines Betriebssystem-Images und zum Prüfen des GPU-Kontingents, finden Sie unter Instanz mit angehängten GPUs erstellen.
• Richten Sie die Authentifizierung ein, falls Sie dies noch nicht getan haben. Bei der Authentifizierung wird Ihre Identität für den Zugriff auf Google Cloud Dienste und APIs überprüft. Zur Ausführung von Code oder Beispielen aus einer lokalen Entwicklungsumgebung können Sie sich bei Compute Engine authentifizieren. Wählen Sie dazu eine der folgenden Optionen aus:
  

  Select the tab for how you plan to use the samples on this page:

  Console

  When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

  gcloud

  1. After installing the Google Cloud CLI, initialize it by running the following command:

     gcloud init

     If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  2. Set a default region and zone.

  REST

  Verwenden Sie die von der gcloud CLI bereitgestellten Anmeldedaten, um die REST API-Beispiele auf dieser Seite in einer lokalen Entwicklungsumgebung zu verwenden.

  After installing the Google Cloud CLI, initialize it by running the following command:

  gcloud init

  If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  Weitere Informationen finden Sie in der Google Cloud Authentifizierungsdokumentation unter Für die Verwendung von REST authentifizieren.

Erforderliche Rollen

Um die Berechtigungen zu erhalten, die Sie für die Erstellung von Instanzen benötigen, bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) für das Projekt zu gewähren. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Erstellen von Instanzen erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

A3 Ultra- oder A4-Instanz erstellen

A3 Ultra- oder A4-Instanzen sind über die folgenden Erstellungsoptionen verfügbar. Diese unterscheiden sich hinsichtlich der Erstellungsverfahren, der Ressourcenverfügbarkeit und der Preise. Wählen Sie anhand Ihrer Arbeitslast die gewünschte Option aus.

• Wenn Sie langlaufende KI- und ML-Arbeitslasten ausführen müssen, z. B. das Training großer Modelle und die Inferenz, die die niedrigste Latenz erfordern, empfehlen wir, VMs oder Cluster zu erstellen, die die Funktionen und Dienste von Cluster Director nutzen können. Mit Cluster Director können Sie dicht belegte Maschinen reservieren, die eine standortabhängige Planung sowie eine erweiterte Überwachung und Wartung dieser reservierten Kapazität ermöglichen. Weitere Informationen zu Cluster Director finden Sie in der Dokumentation zu AI Hypercomputer unter Cluster Director.

  Eine Anleitung zum Erstellen von A3 Ultra- oder A4-Instanzen finden Sie in der Dokumentation zu AI Hypercomputer unter Übersicht zum Erstellen von VMs und Clustern.

• Wenn Sie KI- und ML-Arbeitslasten mit niedrigerer Priorität ausführen möchten, wählen Sie eine der folgenden Optionen aus:

  • Wenn Ihre Arbeitslasten jederzeit gestartet werden können und eine genaue Anzahl von VMs zum Starten erforderlich ist, können Sie Anfragen zur Größenänderung in einer verwalteten Instanzgruppe (Managed Instance Group, MIG) verwenden. Mit Anfragen zur Größenänderung von MIGs bitten Sie die Compute Engine, Ihrer MIG VMs auf einmal hinzuzufügen, sobald die angeforderten Ressourcen verfügbar sind. Diese VMs können bis zu sieben Tage lang ausgeführt werden. Da die Ressourcen aus einem gesicherten Pool bereitgestellt werden, haben Sie im Vergleich zu einer On-Demand-Anfrage eine höhere Chance, GPUs zu erhalten.

    Weitere Informationen zu Anfragen zur Größenänderung von MIGs finden Sie unter Anfragen zur Größenänderung in einer MIG.

  • Wenn Ihre Arbeitslasten Ausfallzeiten verkraften können, können Sie mit Spot-VMs erhebliche Rabatte erhalten. Sie können Spot-VMs zwar nach Bedarf erstellen und löschen, aber sie sind endliche Ressourcen, die möglicherweise nicht immer verfügbar sind. Außerdem kann die Compute Engine Spot-VMs jederzeit vorzeitig beenden oder löschen. Weitere Informationen zu Spot-VMs finden Sie unter Spot-VMs.

    Eine Anleitung zum Erstellen von A3 Ultra- oder A4-Instanzen mit Spot-VMs finden Sie im Abschnitt A3 Ultra- oder A4-Instanz mit Spot-VMs erstellen dieses Dokuments.

A3 Ultra- oder A4-Instanz mit Spot-VMs erstellen

Führen Sie die folgenden Schritte aus, um eine A3 Ultra- oder A4-Instanz mit Spot-VMs zu erstellen:

1. VPC-Netzwerke erstellen
2. Spot-VM erstellen
3. Spot-VM mit angehängten GPUs für die Verwendung vorbereiten

VPC-Netzwerke erstellen

Für den Maschinentyp „A4“ oder „A3 Ultra“ müssen Sie drei VPC-Netzwerke für die folgenden Netzwerkschnittstellen erstellen:

• 2 VPC-Netzwerke für die Netzwerkschnittstellen (NIC) der gVNIC Sie werden für die Kommunikation zwischen Hosts verwendet.
• Für die CX7-NICs ist ein VPC-Netzwerk mit dem RDMA-Netzwerkprofil erforderlich. Dieses Netzwerk muss acht Subnetze haben, ein Subnetz für jede CX7-NIC. Es wird für die Kommunikation zwischen GPUs verwendet.

Weitere Informationen zur NIC-Anordnung finden Sie unter Netzwerkbandbreite und NIC-Anordnung prüfen.

Sie können die Netzwerke entweder manuell anhand der Anleitungen oder automatisch mit dem bereitgestellten Script einrichten.

  #!/bin/bash

  # Create standard VPCs (network and subnets) for the gVNICs
  for N in $(seq 0 1); do
    gcloud compute networks create GVNIC_NAME_PREFIX-net-$N \
      --subnet-mode=custom \
      --mtu=8896

    gcloud compute networks subnets create GVNIC_NAME_PREFIX-sub-$N \
      --network=GVNIC_NAME_PREFIX-net-$N \
      --region=REGION \
      --range=10.$N.0.0/16

    gcloud compute firewall-rules create GVNIC_NAME_PREFIX-internal-$N \
      --network=GVNIC_NAME_PREFIX-net-$N \
      --action=ALLOW \
      --rules=tcp:0-65535,udp:0-65535,icmp \
      --source-ranges=10.0.0.0/8
  done

  # Create SSH firewall rules
  gcloud compute firewall-rules create GVNIC_NAME_PREFIX-ssh \
    --network=GVNIC_NAME_PREFIX-net-0 \
    --action=ALLOW \
    --rules=tcp:22 \
    --source-ranges=IP_RANGE

  # Assumes that an external IP is only created for vNIC 0
  gcloud compute firewall-rules create GVNIC_NAME_PREFIX-allow-ping-net-0 \
    --network=GVNIC_NAME_PREFIX-net-0 \
    --action=ALLOW \
    --rules=icmp \
    --source-ranges=IP_RANGE

  # List and make sure network profiles exist
  gcloud compute network-profiles list

  # Create network for CX-7
  gcloud compute networks create RDMA_NAME_PREFIX-mrdma \
    --network-profile=ZONE-vpc-roce \
    --subnet-mode custom \
    --mtu=8896

  # Create subnets.
  for N in $(seq 0 7); do
    gcloud compute networks subnets create RDMA_NAME_PREFIX-mrdma-sub-$N \
      --network=RDMA_NAME_PREFIX-mrdma \
      --region=REGION \
      --range=10.$((N+2)).0.0/16 # offset to avoid overlap with gVNICs
  done
  

Spot-VM erstellen

Verwenden Sie eine der folgenden Methoden, um die Spot-VM zu erstellen:

gcloud compute instances create VM_NAME  \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --zone=ZONE \
    --boot-disk-type=hyperdisk-balanced \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-0,subnet=GVNIC_NAME_PREFIX-sub-0 \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-1,subnet=GVNIC_NAME_PREFIX-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-0,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-2,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-3,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-4,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-5,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-6,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-7,no-address \
    --provisioning-model=SPOT \
    --instance-termination-action=TERMINATION_ACTION

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
  "machineType":"projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
  "name":"VM_NAME",
  "disks":[
    {
      "boot":true,
      "initializeParams":{
        "diskSizeGb":"DISK_SIZE",
        "diskType":"hyperdisk-balanced",
        "sourceImage":"projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
      },
      "mode":"READ_WRITE",
      "type":"PERSISTENT"
    }
  ],
  "networkInterfaces": [
    {
      "accessConfigs": [
        {
          "name": "external-nat",
          "type": "ONE_TO_ONE_NAT"
        }
      ],
      "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-0",
      "nicType": "GVNIC",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-0"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-1",
      "nicType": "GVNIC",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-1"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-0"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-1"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-2"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-3"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-4"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-5"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-6"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-7"
    }
  ],
  "scheduling":
  {
    "provisioningModel": "SPOT",
    "instanceTerminationAction": "TERMINATION_ACTION"
  }
}

Spot-VM mit angehängten GPUs für die Verwendung vorbereiten

So bereiten Sie eine Spot-VM mit angehängten GPUs für die Verwendung vor:

1. Damit eine Instanz die angeschlossenen GPUs verwenden kann, sind GPU-Treiber erforderlich. Sofern Sie kein Image angegeben haben, das die erforderlichen GPU-Treiber bereits enthält, folgen Sie der Anleitung unter GPU-Treiber installieren.
2. So bereiten Sie eine Spot-VM für die Verwendung vor:
   • Informationen dazu, wie Sie dafür sorgen, dass eine Spot-VM ein vorzeitiges Beenden übersteht, finden Sie unter Vorzeitiges Beenden von Spot-VMs verwalten.
   • Optional: Informationen zu den Best Practices für die Verwendung von Spot-VMs

Nächste Schritte

• Informationen zum Beobachten der GPU-Leistung finden Sie unter GPU-Leistung beobachten.
• Informationen zur Fehlerbehebung bei GPU-Instanzen finden Sie unter Fehlerbehebung bei GPU-VMs.
• Weitere Informationen zu GPU-Plattformen