Criar VMs de GPU em massa

Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.

gcloud

Para criar um grupo de VMs, use o comando gcloud compute instances bulk create. Para mais informações sobre os parâmetros e como usar esse comando, consulte Criar VMs em massa.

As seguintes sinalizações opcionais são mostradas no comando de exemplo:

• O --provisioning-model=SPOT é uma flag opcional que configura suas VMs como VMs do Spot. Se a carga de trabalho for tolerante a falhas e resistente a possíveis preempções da VM, use as VMs spot para reduzir o custo das VMs e das GPUs anexadas. Para mais informações, consulte GPUs em VMs spot. Para VMs do Spot, as flags de opções de reinicialização automática e manutenção do host estão desativadas.

• A sinalização --accelerator para especificar uma estação de trabalho virtual. A NVIDIA RTX Virtual Workstations (vWS) é compatível apenas com VMs do G2.

Exemplo

Neste exemplo, criamos duas VMs que anexaram GPUs usando as seguintes especificações:

• nomes das VMs: my-test-vm-1, my-test-vm-2
• Cada VM tem duas GPUs anexadas, especificadas pelo tipo de máquina otimizador de otimização apropriado.

gcloud compute instances bulk create \
    --name-pattern="my-test-vm-#" \
    --region=REGION \
    --count=2 \
    --machine-type=MACHINE_TYPE \
    --boot-disk-size=200 \
    --image=IMAGE \
    --image-project=IMAGE_PROJECT \
    --on-host-maintenance=TERMINATE \
    [--provisioning-model=SPOT] \
    [--accelerator=type=nvidia-l4-vws,count=VWS_ACCELERATOR_COUNT]

Substitua:

• REGION: a região das VMs. Essa região precisa ser compatível com o modelo de GPU selecionado.

• MACHINE_TYPE: o tipo de máquina selecionado. Escolha uma das seguintes opções:

  • Um tipo de máquina A3.
  • Um tipo de máquina A2
  • Um tipo de máquina G2 Os tipos de máquina G2 também oferecem suporte à memória personalizada. A memória precisa ser um múltiplo de 1.024 MB e estar dentro do intervalo de memória compatível. Por exemplo, para criar uma VM com 4 vCPUs e 19 GB de memória, especifique --machine-type=g2-custom-4-19456.

• IMAGE: uma imagem de sistema operacional compatível com GPUs.

  Se você quiser usar a imagem mais recente em uma família de imagens, substitua a sinalização --image pela sinalização --image-family e defina o valor dela como uma imagem família compatível com GPUs. Por exemplo: --image-family=rocky-linux-8-optimized-gcp.

  Também é possível especificar uma imagem personalizada ou Deep Learning VM Images

• IMAGE_PROJECT: o projeto de imagem do Compute Engine a que a imagem do SO pertence. Se estiver usando uma imagem personalizada ou Deep Learning VM Images, especifique o projeto a que essas imagens pertencem.

• VWS_ACCELERATOR_COUNT: o número necessário de GPUs virtuais.

Quando bem-sucedida, a saída será assim:

NAME          ZONE
my-test-vm-1  us-central1-b
my-test-vm-2  us-central1-b
Bulk create request finished with status message: [VM instances created: 2, failed: 0.]

REST

Use o método instances.bulkInsert com os parâmetros necessários para criar várias VMs em uma zona. Para mais informações sobre os parâmetros e como usar esse comando, consulte Criar VMs em massa.

Exemplo

Neste exemplo, criamos duas VMs que anexaram GPUs usando as seguintes especificações:

• nomes das VMs: my-test-vm-1, my-test-vm-2

• Cada VM tem duas GPUs anexadas, especificadas pelo tipo de máquina otimizador de otimização apropriado.

  POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instances/bulkInsert
  {
  "namePattern":"my-test-vm-#",
  "count":"2",
  "instanceProperties": {
    "machineType":MACHINE_TYPE,
    "disks":[
      {
        "type":"PERSISTENT",
        "initializeParams":{
          "diskSizeGb":"200",
          "sourceImage":SOURCE_IMAGE_URI
        },
        "boot":true
      }
    ],
    "name": "default",
    "networkInterfaces":
    [
      {
        "network": "projects/PROJECT_ID/global/networks/default"
      }
    ],
    "scheduling":{
      "onHostMaintenance":"TERMINATE",
      ["automaticRestart":true]
    }
  }
  }
  

Substitua:

• PROJECT_ID: ID do projeto
• REGION: a região das VMs. Essa região precisa ser compatível com o modelo de GPU selecionado.

• MACHINE_TYPE: o tipo de máquina selecionado. Escolha uma das seguintes opções:

  • Um tipo de máquina A2
  • Um tipo de máquina G2 Os tipos de máquina G2 também oferecem suporte à memória personalizada. A memória precisa ser um múltiplo de 1.024 MB e estar dentro do intervalo de memória compatível. Por exemplo, para criar uma VM com 4 vCPUs e 19 GB de memória, especifique --machine-type=g2-custom-4-19456.

• SOURCE_IMAGE_URI: o URI da imagem ou família de imagens específica que você quer usar.

  Por exemplo:

  • Imagem específica: "sourceImage": "projects/rocky-linux-cloud/global/images/rocky-linux-8-optimized-gcp-v20220719"
  • Família de imagens: "sourceImage": "projects/rocky-linux-cloud/global/images/family/rocky-linux-8-optimized-gcp".

  Quando você especifica uma família de imagens, o Compute Engine cria uma VM a partir da imagem do SO mais recente e não obsoleta nessa família. Para mais informações sobre quando usar famílias de imagens, consulte Práticas recomendadas para famílias de imagens.

Outras configurações:

• Se a carga de trabalho for tolerante a falhas e resistente a possíveis preempções da VM, use as VMs spot para reduzir o custo das VMs e das GPUs anexadas. Para mais informações, consulte GPUs em VMs spot. Para usar uma VM spot, adicione a opção "provisioningModel": "SPOT à solicitação. Para VMs do Spot, as flags de opções de reinicialização automática e manutenção do host estão desativadas.

  "scheduling":
    {
      "provisioningModel": "SPOT"
    }
  

• Para VMs G2, a NVIDIA RTX Virtual Workstations (vWS) é compatível. Para especificar uma estação de trabalho virtual, adicione a opção guestAccelerators à sua solicitação. Substitua VWS_ACCELERATOR_COUNT pelo número de GPUs virtuais necessárias.

  "guestAccelerators":
   [
     {
       "acceleratorCount": VWS_ACCELERATOR_COUNT,
       "acceleratorType": "projects/PROJECT_ID/zones/ZONEacceleratorTypes/nvidia-l4-vws"
     }
   ]
  

gcloud

Para criar um grupo de VMs, use o comando gcloud compute instances bulk create. Para mais informações sobre os parâmetros e como usar esse comando, consulte Criar VMs em massa.

Exemplo

O exemplo a seguir cria duas VMs com GPUs anexadas usando as seguintes especificações:

• nomes das VMs: my-test-vm-1, my-test-vm-2
• VMs criadas em qualquer zona em us-central1 compatível com GPUs
• Cada VM tem duas GPUs T4 anexadas, especificadas usando o tipo e as sinalizações de contagem de aceleradores
• Cada VM tem drivers de GPU instalados
• Cada VM usa a Deep Learning VM Image pytorch-latest-gpu-v20211028-debian-10.

gcloud compute instances bulk create \
    --name-pattern="my-test-vm-#" \
    --count=2 \
    --region=us-central1 \
    --machine-type=n1-standard-2 \
    --accelerator type=nvidia-tesla-t4,count=2 \
    --boot-disk-size=200 \
    --metadata="install-nvidia-driver=True" \
    --scopes="https://www.googleapis.com/auth/cloud-platform" \
    --image=pytorch-latest-gpu-v20211028-debian-10 \
    --image-project=deeplearning-platform-release \
    --on-host-maintenance=TERMINATE --restart-on-failure

Quando bem-sucedida, a saída será assim:

NAME          ZONE
my-test-vm-1  us-central1-b
my-test-vm-2  us-central1-b
Bulk create request finished with status message: [VM instances created: 2, failed: 0.]

REST

Use o método instances.bulkInsert com os parâmetros necessários para criar várias VMs em uma zona. Para mais informações sobre os parâmetros e como usar esse comando, consulte Criar VMs em massa.

Exemplo

O exemplo a seguir cria duas VMs com GPUs anexadas usando as seguintes especificações:

• nomes das VMs: my-test-vm-1, my-test-vm-2
• VMs criadas em qualquer zona em us-central1 compatível com GPUs
• Cada VM tem duas GPUs T4 anexadas, especificadas usando o tipo e as sinalizações de contagem de aceleradores
• Cada VM tem drivers de GPU instalados
• Cada VM usa a Deep Learning VM Image pytorch-latest-gpu-v20211028-debian-10.

Substitua PROJECT_ID pela ID do seu projeto.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/region/us-central1/instances/bulkInsert

{
    "namePattern":"my-test-vm-#",
    "count":"2",
    "instanceProperties": {
      "machineType":"n1-standard-2",
      "disks":[
        {
          "type":"PERSISTENT",
          "initializeParams":{
            "diskSizeGb":"200",
            "sourceImage":"projects/deeplearning-platform-release/global/images/pytorch-latest-gpu-v20211028-debian-10"
          },
          "boot":true
        }
      ],
      "name": "default",
      "networkInterfaces":
      [
        {
          "network": "projects/PROJECT_ID/global/networks/default"
        }
      ],
      "guestAccelerators":
      [
        {
          "acceleratorCount": 2,
          "acceleratorType": "nvidia-tesla-t4"
        }
      ],
      "scheduling":{
        "onHostMaintenance":"TERMINATE",
        "automaticRestart":true
      },
      "metadata":{
        "items":[
          {
            "key":"install-nvidia-driver",
            "value":"True"
          }
        ]
      }
  }
 }