Membuat instance A3 Ultra atau A4

Dokumen ini menjelaskan cara membuat instance dengan GPU terpasang dari rangkaian mesin A3 Ultra atau A4. Untuk mempelajari lebih lanjut cara membuat instance dengan GPU yang terpasang, lihat Ringkasan pembuatan instance dengan GPU yang terpasang.

Sebelum memulai

• Untuk meninjau batasan dan langkah prasyarat tambahan guna membuat instance dengan GPU yang terpasang, seperti memilih image OS dan memeriksa kuota GPU, lihat Ringkasan pembuatan instance dengan GPU yang terpasang.
• Jika Anda belum melakukannya, siapkan autentikasi. Autentikasi adalah proses yang digunakan untuk memverifikasi identitas Anda agar dapat mengakses Google Cloud layanan dan API. Untuk menjalankan kode atau contoh dari lingkungan pengembangan lokal, Anda dapat mengautentikasi ke Compute Engine dengan memilih salah satu opsi berikut:
  

  Select the tab for how you plan to use the samples on this page:

  Console

  When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

  gcloud

  1. After installing the Google Cloud CLI, initialize it by running the following command:

     gcloud init

     If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  2. Set a default region and zone.

  REST

  Untuk menggunakan contoh REST API di halaman ini dalam lingkungan pengembangan lokal, gunakan kredensial yang Anda berikan ke gcloud CLI.

  After installing the Google Cloud CLI, initialize it by running the following command:

  gcloud init

  If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  Untuk informasi selengkapnya, lihat Mengautentikasi untuk menggunakan REST dalam Google Cloud dokumentasi autentikasi.

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk membuat instance, minta administrator untuk memberi Anda peran IAM Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) di project. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat instance. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Membuat instance A3 Ultra atau A4

Instance A3 Ultra atau A4 tersedia melalui opsi pembuatan berikut, yang masing-masing memiliki prosedur pembuatan, ketersediaan resource, dan harga yang berbeda. Identifikasi opsi yang ingin Anda gunakan berdasarkan beban kerja Anda.

• Jika Anda perlu menjalankan beban kerja AI dan ML yang berjalan lama seperti pelatihan dan inferensi model besar yang memerlukan latensi terendah, sebaiknya buat VM atau cluster yang dapat menggunakan fitur dan layanan yang tersedia dari Cluster Director. Dengan Cluster Director, Anda dapat memesan mesin yang dialokasikan secara padat yang menyediakan penjadwalan berbasis topologi serta pemantauan dan pemeliharaan yang ditingkatkan untuk kapasitas yang direservasi ini. Untuk mempelajari Cluster Director lebih lanjut, lihat Cluster Director dalam dokumentasi Hypercomputer AI.

  Untuk mengetahui petunjuk cara membuat instance A3 Ultra atau A4, lihat Ringkasan pembuatan VM dan cluster dalam dokumentasi AI Hypercomputer.

• Jika Anda perlu menjalankan workload AI dan ML dengan prioritas lebih rendah, pilih salah satu opsi berikut:

  • Jika workload Anda dapat dimulai kapan saja dan memerlukan jumlah VM yang tepat untuk dimulai, Anda dapat menggunakan permintaan perubahan ukuran di grup instance terkelola (MIG). Dengan permintaan pengubahan ukuran MIG, Anda meminta Compute Engine untuk menambahkan VM sekaligus ke MIG setiap kali resource yang Anda minta tersedia. VM ini dapat berjalan hingga tujuh hari. Karena resource dikirimkan dari kumpulan yang aman, Anda memiliki peluang lebih tinggi untuk mendapatkan GPU dibandingkan dengan permintaan on demand.

    Untuk informasi selengkapnya tentang permintaan pengubahan ukuran MIG, lihat Tentang permintaan pengubahan ukuran di MIG.

  • Jika workload Anda toleran terhadap gangguan ketersediaan, Anda dapat mendapatkan diskon yang signifikan dengan menggunakan Spot VM. Meskipun Anda dapat membuat dan menghapus Spot VM sesuai kebutuhan, Spot VM adalah resource terbatas yang mungkin tidak selalu tersedia, dan Compute Engine dapat melakukan preempt (otomatis menghentikan atau menghapus) Spot VM kapan saja. Untuk mempelajari Spot VM lebih lanjut, lihat artikel Spot VM.

    Untuk mengetahui petunjuk cara membuat instance A3 Ultra atau A4 menggunakan VM Spot, lihat bagian Membuat instance A3 Ultra atau A4 menggunakan VM Spot berikut dalam dokumen ini.

Membuat instance A3 Ultra atau A4 menggunakan Spot VM

Untuk membuat instance A3 Ultra atau A4 menggunakan Spot VM, selesaikan langkah-langkah di bagian berikut:

1. Membuat jaringan VPC.
2. Buat Spot VM.
3. Menyiapkan Spot VM dengan GPU terpasang untuk digunakan.

Membuat jaringan VPC

Untuk jenis mesin A4 atau A3 Ultra, Anda harus membuat tiga jaringan VPC untuk antarmuka jaringan berikut:

• 2 jaringan VPC untuk antarmuka jaringan (NIC) gVNIC. Ini digunakan untuk komunikasi host ke host.
• 1 jaringan VPC dengan profil jaringan RDMA diperlukan untuk NIC CX7. Jaringan ini harus memiliki 8 subnet, satu subnet untuk setiap NIC CX7, dan digunakan untuk komunikasi GPU ke GPU.

Untuk informasi selengkapnya tentang pengaturan NIC, lihat Meninjau bandwidth jaringan dan pengaturan NIC.

Siapkan jaringan secara manual dengan mengikuti panduan petunjuk atau secara otomatis menggunakan skrip yang disediakan.

  #!/bin/bash

  # Create standard VPCs (network and subnets) for the gVNICs
  for N in $(seq 0 1); do
    gcloud compute networks create GVNIC_NAME_PREFIX-net-$N \
      --subnet-mode=custom \
      --mtu=8896

    gcloud compute networks subnets create GVNIC_NAME_PREFIX-sub-$N \
      --network=GVNIC_NAME_PREFIX-net-$N \
      --region=REGION \
      --range=10.$N.0.0/16

    gcloud compute firewall-rules create GVNIC_NAME_PREFIX-internal-$N \
      --network=GVNIC_NAME_PREFIX-net-$N \
      --action=ALLOW \
      --rules=tcp:0-65535,udp:0-65535,icmp \
      --source-ranges=10.0.0.0/8
  done

  # Create SSH firewall rules
  gcloud compute firewall-rules create GVNIC_NAME_PREFIX-ssh \
    --network=GVNIC_NAME_PREFIX-net-0 \
    --action=ALLOW \
    --rules=tcp:22 \
    --source-ranges=IP_RANGE

  # Assumes that an external IP is only created for vNIC 0
  gcloud compute firewall-rules create GVNIC_NAME_PREFIX-allow-ping-net-0 \
    --network=GVNIC_NAME_PREFIX-net-0 \
    --action=ALLOW \
    --rules=icmp \
    --source-ranges=IP_RANGE

  # List and make sure network profiles exist
  gcloud compute network-profiles list

  # Create network for CX-7
  gcloud compute networks create RDMA_NAME_PREFIX-mrdma \
    --network-profile=ZONE-vpc-roce \
    --subnet-mode custom \
    --mtu=8896

  # Create subnets.
  for N in $(seq 0 7); do
    gcloud compute networks subnets create RDMA_NAME_PREFIX-mrdma-sub-$N \
      --network=RDMA_NAME_PREFIX-mrdma \
      --region=REGION \
      --range=10.$((N+2)).0.0/16 # offset to avoid overlap with gVNICs
  done
  

Membuat Spot VM

Untuk membuat Spot VM, gunakan salah satu metode berikut:

gcloud compute instances create VM_NAME  \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --zone=ZONE \
    --boot-disk-type=hyperdisk-balanced \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-0,subnet=GVNIC_NAME_PREFIX-sub-0 \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-1,subnet=GVNIC_NAME_PREFIX-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-0,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-2,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-3,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-4,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-5,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-6,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-7,no-address \
    --provisioning-model=SPOT \
    --instance-termination-action=TERMINATION_ACTION

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
  "machineType":"projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
  "name":"VM_NAME",
  "disks":[
    {
      "boot":true,
      "initializeParams":{
        "diskSizeGb":"DISK_SIZE",
        "diskType":"hyperdisk-balanced",
        "sourceImage":"projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
      },
      "mode":"READ_WRITE",
      "type":"PERSISTENT"
    }
  ],
  "networkInterfaces": [
    {
      "accessConfigs": [
        {
          "name": "external-nat",
          "type": "ONE_TO_ONE_NAT"
        }
      ],
      "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-0",
      "nicType": "GVNIC",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-0"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-1",
      "nicType": "GVNIC",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-1"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-0"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-1"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-2"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-3"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-4"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-5"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-6"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-7"
    }
  ],
  "scheduling":
  {
    "provisioningModel": "SPOT",
    "instanceTerminationAction": "TERMINATION_ACTION"
  }
}

Menyiapkan Spot VM dengan GPU terpasang untuk digunakan

Untuk menyiapkan Spot VM dengan GPU yang terpasang untuk digunakan, selesaikan langkah-langkah berikut:

1. Agar instance dapat menggunakan GPU yang terpasang, instance memerlukan driver GPU. Kecuali jika Anda menentukan image yang sudah menyertakan driver GPU yang diperlukan, ikuti langkah-langkah untuk Menginstal driver GPU.
2. Untuk menyiapkan Spot VM agar dapat digunakan, selesaikan langkah-langkah berikut:
   • Untuk mempelajari cara memastikan Spot VM dapat menahan preemption, lihat Mengelola preemption Spot VM.
   • Opsional: Pelajari praktik terbaik untuk menggunakan Spot VM.

Langkah berikutnya

• Untuk memantau performa GPU, baca Memantau performa GPU.
• Untuk memecahkan masalah instance GPU, lihat Memecahkan masalah VM GPU.
• Pelajari platform GPU lebih lanjut.