GPU-VMs im Bulk erstellen

Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.

gcloud

Verwenden Sie zum Erstellen einer Gruppe von VMs den Befehl gcloud compute instances bulk create. Weitere Informationen zu den Parametern und zur Verwendung dieses Befehls finden Sie unter VMs im Bulk erstellen.

Die folgenden optionalen Flags werden im Beispielbefehl gezeigt:

• --provisioning-model=SPOT ist ein optionales Flag, das Ihre VMs als Spot-VMs konfiguriert. Wenn Ihre Arbeitslast fehlertolerant ist und einer möglichen vorzeitigen VM-Beendigung standhält, können Sie Spot-VMs verwenden, um die Kosten für Ihre VMs und die angeschlossenen GPUs zu senken. Weitere Informationen finden Sie unter GPUs auf Spot-VMs. Bei Spot-VMs sind die Flags für die Optionen „Automatischer Neustart“ und „Hostwartung“ deaktiviert.

• Das Flag --accelerator, um eine virtuelle Workstation anzugeben. Virtuelle NVIDIA RTX-Workstations (vWS) werden nur für G2-VMs unterstützt.

Beispiel

In diesem Beispiel werden zwei VMs mit angehängten GPUs mit den folgenden Spezifikationen erstellt:

• VM-Namen: my-test-vm-1, my-test-vm-2
• An jede VM sind zwei GPUs angehängt, für die der entsprechende beschleunigungsoptimierte Maschinentyps angegeben wird.

gcloud compute instances bulk create \
    --name-pattern="my-test-vm-#" \
    --region=REGION \
    --count=2 \
    --machine-type=MACHINE_TYPE \
    --boot-disk-size=200 \
    --image=IMAGE \
    --image-project=IMAGE_PROJECT \
    --on-host-maintenance=TERMINATE \
    [--provisioning-model=SPOT] \
    [--accelerator=type=nvidia-l4-vws,count=VWS_ACCELERATOR_COUNT]

Dabei gilt:

• REGION: Die Region für die VMs. Diese Region muss das ausgewählte GPU-Modell unterstützen.

• MACHINE_TYPE: Der ausgewählte Maschinentyp Wählen Sie eine der folgenden Optionen aus:

  • Ein A3-Maschinentyp.
  • Ein A2-Maschinentyp.
  • Ein G2-Maschinentyp. G2-Maschinentypen unterstützen auch benutzerdefinierten Arbeitsspeicher. Der Arbeitsspeicher muss ein Vielfaches von 1.024 MB sein und innerhalb des unterstützten Arbeitsspeicherbereichs liegen. Geben Sie beispielsweise --machine-type=g2-custom-4-19456 an, um eine VM mit 4 vCPUs und 19 GB Arbeitsspeicher zu erstellen.

• IMAGE: Ein Betriebssystem-Image, das GPUs unterstützt.

  Wenn Sie das neueste Image in einer Image-Familie verwenden möchten, ersetzen Sie das Flag --image durch das Flag --image-family und legen Sie dessen Wert auf eine Image-Familie fest, die GPUs unterstützt. Beispiel: --image-family=rocky-linux-8-optimized-gcp.

  Sie können auch ein benutzerdefiniertes Image oder Deep Learning VM Images angeben.

• IMAGE_PROJECT: Das Compute Engine-Image-Projekt, zu dem das Betriebssystem-Image gehört. Wenn Sie ein benutzerdefiniertes Image oder Deep Learning VM Images verwenden, geben Sie das Projekt an, zu dem diese Images gehören.

• VWS_ACCELERATOR_COUNT ist die Anzahl der benötigten virtuellen GPUs.

Falls erfolgreich sieht die Ausgabe etwa so aus:

NAME          ZONE
my-test-vm-1  us-central1-b
my-test-vm-2  us-central1-b
Bulk create request finished with status message: [VM instances created: 2, failed: 0.]

REST

Verwenden Sie die Methode instances.bulkInsert mit den erforderlichen Parametern, um mehrere VMs in einer Zone zu erstellen. Weitere Informationen zu den Parametern und zur Verwendung dieses Befehls finden Sie unter VMs im Bulk erstellen.

Beispiel

In diesem Beispiel werden zwei VMs mit angehängten GPUs mit den folgenden Spezifikationen erstellt:

• VM-Namen: my-test-vm-1, my-test-vm-2

• An jede VM sind zwei GPUs angehängt, für die der entsprechende beschleunigungsoptimierte Maschinentyps angegeben wird.

  POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instances/bulkInsert
  {
  "namePattern":"my-test-vm-#",
  "count":"2",
  "instanceProperties": {
    "machineType":MACHINE_TYPE,
    "disks":[
      {
        "type":"PERSISTENT",
        "initializeParams":{
          "diskSizeGb":"200",
          "sourceImage":SOURCE_IMAGE_URI
        },
        "boot":true
      }
    ],
    "name": "default",
    "networkInterfaces":
    [
      {
        "network": "projects/PROJECT_ID/global/networks/default"
      }
    ],
    "scheduling":{
      "onHostMaintenance":"TERMINATE",
      ["automaticRestart":true]
    }
  }
  }
  

Dabei gilt:

• PROJECT_ID: Ihre Projekt-ID.
• REGION: Die Region für die VMs. Diese Region muss das ausgewählte GPU-Modell unterstützen.

• MACHINE_TYPE: Der ausgewählte Maschinentyp Wählen Sie eine der folgenden Optionen aus:

  • Ein A2-Maschinentyp.
  • Ein G2-Maschinentyp. G2-Maschinentypen unterstützen auch benutzerdefinierten Arbeitsspeicher. Der Arbeitsspeicher muss ein Vielfaches von 1.024 MB sein und innerhalb des unterstützten Arbeitsspeicherbereichs liegen. Geben Sie beispielsweise --machine-type=g2-custom-4-19456 an, um eine VM mit 4 vCPUs und 19 GB Arbeitsspeicher zu erstellen.

• SOURCE_IMAGE_URI: Der URI für das spezifische Image oder die Image-Familie, die Sie verwenden möchten.

  Beispiel:

  • Spezifisches Image: "sourceImage": "projects/rocky-linux-cloud/global/images/rocky-linux-8-optimized-gcp-v20220719"
  • Image-Familie: "sourceImage": "projects/rocky-linux-cloud/global/images/family/rocky-linux-8-optimized-gcp".

  Wenn Sie eine Image-Familie angeben, erstellt Compute Engine eine VM aus dem neuesten nicht verworfenen Betriebssystem-Image in dieser Familie. Weitere Informationen zur Verwendung von Image-Familien finden Sie unter Best Practices für Image-Familien.

Zusätzliche Einstellungen:

• Wenn Ihre Arbeitslast fehlertolerant ist und einer möglichen vorzeitigen VM-Beendigung standhält, können Sie Spot-VMs verwenden, um die Kosten für Ihre VMs und die angeschlossenen GPUs zu senken. Weitere Informationen finden Sie unter GPUs auf Spot-VMs. Wenn Sie eine Spot-VM verwenden möchten, fügen Sie der Anfrage die Option "provisioningModel": "SPOT hinzu. Bei Spot-VMs sind die Flags für den automatischen Neustart und die Hostwartung deaktiviert.

  "scheduling":
    {
      "provisioningModel": "SPOT"
    }
  

• Für G2-VMs werden virtuelle NVIDIA RTX-Workstations (vWS) unterstützt. Wenn Sie eine virtuelle Workstation angeben möchten, fügen Sie Ihrer Anfrage die Option guestAccelerators hinzu. Ersetzen Sie VWS_ACCELERATOR_COUNT durch die Anzahl der benötigten virtuellen GPUs.

  "guestAccelerators":
   [
     {
       "acceleratorCount": VWS_ACCELERATOR_COUNT,
       "acceleratorType": "projects/PROJECT_ID/zones/ZONEacceleratorTypes/nvidia-l4-vws"
     }
   ]
  

gcloud

Verwenden Sie zum Erstellen einer Gruppe von VMs den Befehl gcloud compute instances bulk create. Weitere Informationen zu den Parametern und zur Verwendung dieses Befehls finden Sie unter VMs im Bulk erstellen.

Beispiel

Im folgenden Beispiel werden zwei VMs mit angehängten GPUs mit den folgenden Spezifikationen erstellt:

• VM-Namen: my-test-vm-1, my-test-vm-2
• VMs, die in einer beliebigen Zone in us-central1 erstellt wurden, die GPUs unterstützt
• An jede VM sind zwei T4-GPUs angehängt. Diese werden mit dem Flag „Beschleunigertyp“ und „Beschleunigeranzahl“ angegeben
• Auf jeder VM sind GPU-Treiber installiert
• Jede VM verwendet das Deep Learning VM Image pytorch-latest-gpu-v20211028-debian-10

gcloud compute instances bulk create \
    --name-pattern="my-test-vm-#" \
    --count=2 \
    --region=us-central1 \
    --machine-type=n1-standard-2 \
    --accelerator type=nvidia-tesla-t4,count=2 \
    --boot-disk-size=200 \
    --metadata="install-nvidia-driver=True" \
    --scopes="https://www.googleapis.com/auth/cloud-platform" \
    --image=pytorch-latest-gpu-v20211028-debian-10 \
    --image-project=deeplearning-platform-release \
    --on-host-maintenance=TERMINATE --restart-on-failure

Falls erfolgreich sieht die Ausgabe etwa so aus:

NAME          ZONE
my-test-vm-1  us-central1-b
my-test-vm-2  us-central1-b
Bulk create request finished with status message: [VM instances created: 2, failed: 0.]

REST

Verwenden Sie die Methode instances.bulkInsert mit den erforderlichen Parametern, um mehrere VMs in einer Zone zu erstellen. Weitere Informationen zu den Parametern und zur Verwendung dieses Befehls finden Sie unter VMs im Bulk erstellen.

Beispiel

Im folgenden Beispiel werden zwei VMs mit angehängten GPUs mit den folgenden Spezifikationen erstellt:

• VM-Namen: my-test-vm-1, my-test-vm-2
• VMs, die in einer beliebigen Zone in us-central1 erstellt wurden, die GPUs unterstützt
• An jede VM sind zwei T4-GPUs angehängt. Diese werden mit dem Flag „Beschleunigertyp“ und „Beschleunigeranzahl“ angegeben
• Auf jeder VM sind GPU-Treiber installiert
• Jede VM verwendet das Deep Learning VM Image pytorch-latest-gpu-v20211028-debian-10

Ersetzen Sie PROJECT_ID durch Ihre Projekt-ID.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/region/us-central1/instances/bulkInsert

{
    "namePattern":"my-test-vm-#",
    "count":"2",
    "instanceProperties": {
      "machineType":"n1-standard-2",
      "disks":[
        {
          "type":"PERSISTENT",
          "initializeParams":{
            "diskSizeGb":"200",
            "sourceImage":"projects/deeplearning-platform-release/global/images/pytorch-latest-gpu-v20211028-debian-10"
          },
          "boot":true
        }
      ],
      "name": "default",
      "networkInterfaces":
      [
        {
          "network": "projects/PROJECT_ID/global/networks/default"
        }
      ],
      "guestAccelerators":
      [
        {
          "acceleratorCount": 2,
          "acceleratorType": "nvidia-tesla-t4"
        }
      ],
      "scheduling":{
        "onHostMaintenance":"TERMINATE",
        "automaticRestart":true
      },
      "metadata":{
        "items":[
          {
            "key":"install-nvidia-driver",
            "value":"True"
          }
        ]
      }
  }
 }