Membuat permintaan perubahan ukuran di MIG


Dokumen ini menjelaskan cara membuat permintaan pengubahan ukuran dalam grup instance terkelola (MIG) dari instance virtual machine (VM) yang memiliki GPU terpasang. Untuk mempelajari lebih lanjut permintaan perubahan ukuran, lihat Tentang permintaan perubahan ukuran di MIG.

Membuat permintaan pengubahan ukuran MIG membantu Anda mendapatkan resource yang sangat diminati, seperti GPU, dan mengoptimalkan biaya dengan membuat jumlah VM yang tepat sekaligus. Untuk membuat permintaan pengubahan ukuran MIG yang dapat menggunakan fitur dan layanan yang tersedia dari Cluster Director, lihat Membuat MIG dan permintaan pengubahan ukuran dalam dokumentasi AI Hypercomputer.

Sebelum memulai

  • Untuk memastikan Anda memiliki kuota GPU yang cukup untuk resource yang Anda minta, periksa kuota GPU Anda.
  • Jika Anda belum melakukannya, siapkan autentikasi. Autentikasi adalah proses yang digunakan untuk memverifikasi identitas Anda agar dapat mengakses Google Cloud layanan dan API. Untuk menjalankan kode atau contoh dari lingkungan pengembangan lokal, Anda dapat mengautentikasi ke Compute Engine dengan memilih salah satu opsi berikut:

    Select the tab for how you plan to use the samples on this page:

    Console

    When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

    gcloud

    1. After installing the Google Cloud CLI, initialize it by running the following command:

      gcloud init

      If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

    2. Set a default region and zone.
    3. REST

      Untuk menggunakan contoh REST API di halaman ini dalam lingkungan pengembangan lokal, gunakan kredensial yang Anda berikan ke gcloud CLI.

        After installing the Google Cloud CLI, initialize it by running the following command:

        gcloud init

        If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

      Untuk informasi selengkapnya, lihat Mengautentikasi untuk menggunakan REST dalam Google Cloud dokumentasi autentikasi.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk membuat permintaan pengubahan ukuran MIG, minta administrator untuk memberi Anda peran IAM Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) di project. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran yang telah ditentukan ini berisi izin yang diperlukan untuk membuat permintaan pengubahan ukuran MIG. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat permintaan pengubahan ukuran MIG:

  • Untuk membuat template instance: compute.instanceTemplates.create pada project
  • Untuk membuat MIG zona: compute.instanceGroupManagers.create pada project
  • Untuk membuat permintaan perubahan ukuran MIG: compute.instanceGroupManagers.update pada project

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Menyiapkan MIG untuk permintaan pengubahan ukuran

Untuk membuat permintaan pengubahan ukuran MIG, Anda harus mengonfigurasi template instance dan MIG seperti yang dijelaskan di bagian berikut.

Membuat template instance

Untuk membuat template instance yang dikonfigurasi untuk membuat permintaan pengubahan ukuran MIG, tentukan hal berikut dalam template:

Untuk membuat template instance yang dikonfigurasi untuk membuat permintaan perubahan ukuran MIG, pilih salah satu opsi berikut:

Konsol

  1. Di konsol Google Cloud , buka halaman Template instance.

    Buka halaman Template instance

  2. Klik Create instance template. Halaman Create an instance template akan terbuka.

  3. Di kolom Name, masukkan nama untuk template instance.

  4. Di bagian Lokasi, pilih salah satu opsi berikut:

    • Untuk membuat template instance regional, pilih Regional (direkomendasikan), lalu pilih region tempat template akan dibuat.

    • Untuk membuat template instance global, pilih Global.

  5. Di bagian Machine configuration, lakukan hal berikut:

    1. Klik tab GPU.

    2. Dalam daftar GPU type, pilih jenis GPU.

    3. Dalam daftar Number of GPU, pilih jumlah GPU.

    4. Opsional: Jika model GPU Anda mendukung NVIDIA RTX Virtual Workstations (vWS) untuk workload grafis, dan Anda berencana menjalankan workload yang intensif grafis, pilih Aktifkan Workstation Virtual (NVIDIA GRID).

    5. Di bagian Machine type, pilih jenis mesin.

  6. Di bagian Provisioning model, lakukan tindakan berikut:

    1. Dalam daftar VM provisioning model, pilih Flex-start.

    2. Untuk menetapkan durasi operasi VM yang dibuat melalui template instance, di kolom Enter number of hours, masukkan jumlah jam. Nilainya harus antara satu jam (1) dan tujuh hari (168).

  7. Opsional: Untuk mengubah jenis atau image boot disk nilai default, di bagian Boot disk, klik Change. Kemudian, ikuti petunjuk untuk mengubah disk booting.

  8. Klik Buat.

gcloud

Untuk membuat template instance yang dikonfigurasi untuk membuat permintaan pengubahan ukuran MIG, gunakan perintah beta instance-templates create dengan flag berikut:

  • Flag --maintenance-policy ditetapkan ke TERMINATE.

  • Flag --instance-termination-action ditetapkan ke DELETE.

  • Flag --max-run-duration.

  • Flag --provisioning-model ditetapkan ke FLEX_START.

  • Flag --reservation-affinity ditetapkan ke none.

Perintah berikut akan membuat template instance regional. Untuk membuat template instance global, gunakan perintah yang sama tanpa flag --instance-template-region.

gcloud beta compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --image-project=IMAGE_PROJECT \
    --image-family=IMAGE_FAMILY \
    --instance-termination-action=DELETE \
    --instance-template-region=REGION \
    --machine-type=MACHINE_TYPE \
    --maintenance-policy=TERMINATE \
    --max-run-duration=RUN_DURATION \
    --provisioning-model=FLEX_START \
    --reservation-affinity=none

Ganti kode berikut:

  • INSTANCE_TEMPLATE_NAME: nama template instance yang akan dibuat.

  • IMAGE_PROJECT: project image yang berisi image; misalnya, debian-cloud. Untuk informasi selengkapnya tentang project image yang didukung, lihat Image publik.

  • IMAGE_FAMILY: kelompok image. Tindakan ini menentukan image OS terbaru yang masih digunakan. Misalnya, jika Anda menentukan debian-12, versi terbaru dalam kelompok image Debian 12 akan digunakan. Untuk mengetahui informasi selengkapnya tentang penggunaan kelompok image, lihat Praktik terbaik kelompok image.

  • REGION: region tempat membuat template instance.

  • MACHINE_TYPE: jenis mesin GPU. Jika Anda menentukan jenis mesin N1, sertakan flag --accelerator untuk menentukan jumlah dan jenis GPU yang akan dilampirkan ke VM Anda.

  • RUN_DURATION: durasi yang Anda inginkan untuk VM yang diminta berjalan. Anda harus memformat nilai sebagai jumlah hari, jam, menit, atau detik, diikuti dengan d, h, m, dan s. Misalnya, tentukan 30m selama 30 menit atau 1d2h3m4s selama satu hari, dua jam, tiga menit, dan empat detik. Nilainya harus antara 10 menit dan tujuh hari.

REST

Untuk membuat template instance yang dikonfigurasi untuk membuat permintaan pengubahan ukuran di MIG, buat permintaan POST ke salah satu metode berikut:

Dalam isi permintaan, sertakan kolom berikut:

  • Kolom scheduling.onHostMaintenance ditetapkan ke TERMINATE.

  • Kolom scheduling.instanceTerminationAction ditetapkan ke DELETE.

  • Kolom scheduling.maxRunDuration.

  • Kolom scheduling.provisioningModel ditetapkan ke FLEX_START.

  • Kolom reservationAffinity.consumeReservationType ditetapkan ke NO_RESERVATION.

Misalnya, untuk membuat template instance regional, buat permintaan POST seperti berikut:

POST https://compute.googleapis.com/compute/beta/projects/PROJECT_ID/regions/REGION/instanceTemplates

{
  "name": "INSTANCE_TEMPLATE_NAME",
  "properties": {
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "sourceImage": "projects/IMAGE_PROJECT/global/images/IMAGE"
        }
      }
    ],
    "machineType": "MACHINE_TYPE",
    "networkInterfaces": [
      {
        "network": "global/networks/default"
      }
    ],
    "reservationAffinity": {
      "consumeReservationType": "NO_RESERVATION"
    },
    "scheduling": {
      "instanceTerminationAction": "DELETE",
      "maxRunDuration": {
        "seconds": RUN_DURATION
      },
      "onHostMaintenance": "TERMINATE",
      "provisioningModel": "FLEX_START"
    }
  }
}

Ganti kode berikut:

  • PROJECT_ID: ID project tempat membuat template instance.

  • REGION: region tempat membuat template instance.

  • INSTANCE_TEMPLATE_NAME: nama template instance yang akan dibuat.

  • IMAGE_PROJECT: project image yang berisi image; misalnya, debian-cloud. Untuk informasi selengkapnya tentang project image yang didukung, lihat Image publik.

  • IMAGE: tentukan salah satu dari hal berikut:

    • Versi tertentu dari image OS—misalnya, debian-12-bookworm-v20240617.

    • Kelompok image, yang harus diformat sebagai family/IMAGE_FAMILY. Tindakan ini menentukan image OS terbaru yang masih digunakan. Misalnya, jika Anda menentukan family/debian-12, versi terbaru dalam kelompok image Debian 12 akan digunakan. Untuk mengetahui informasi selengkapnya tentang penggunaan kelompok image, lihat Praktik terbaik kelompok image.

  • MACHINE_TYPE: jenis mesin GPU. Jika Anda menentukan jenis mesin N1, sertakan kolom guestAccelerators dalam isi permintaan untuk menentukan jumlah dan jenis GPU yang akan dilampirkan ke VM Anda.

  • RUN_DURATION: durasi, dalam detik, yang Anda inginkan untuk VM yang diminta. Nilainya harus antara 600, yaitu 600 detik (10 menit), dan 604800, yaitu 604.800 detik (tujuh hari).

Untuk mengetahui informasi selengkapnya tentang cara membuat template instance, lihat Membuat template instance.

Membuat atau memperbarui MIG

Setelah membuat template instance seperti yang dijelaskan di bagian sebelumnya, gunakan template instance tersebut untuk membuat MIG sebagai berikut, atau memperbarui MIG. Selain itu, Anda harus melakukan hal berikut untuk menyiapkan MIG untuk permintaan pengubahan ukuran:

Untuk membuat MIG yang kompatibel dengan permintaan perubahan ukuran, pilih salah satu opsi berikut:

Konsol

  1. Di Google Cloud konsol, buka halaman Instance groups.

    Buka Instance groups

  2. Klik Create instance group. Halaman Create instance group akan terbuka.

  3. Di kolom Nama, masukkan nama untuk MIG.

  4. Sebelum memilih template instance, Anda harus menghapus konfigurasi penskalaan otomatis dan menonaktifkan perbaikan sebagai berikut:

    1. Untuk menghapus konfigurasi penskalaan otomatis, lakukan langkah berikut:

      1. Di bagian Autoscaling, klik daftar Autoscaling mode, lalu klik Delete autoscaling configuration.

      2. Pada dialog konfirmasi, klik Delete.

    2. Untuk menonaktifkan perbaikan, di bagian VM instance lifecycle, klik daftar Default action on failure, lalu pilih No action.

  5. Kembali ke kolom Instance template. Dalam daftar Instance template, pilih template instance yang Anda buat di bagian sebelumnya. Jika Anda memilih template instance regional, daftar Region akan ditetapkan ke region template.

  6. Lakukan salah satu hal berikut:

    • Untuk membuat permintaan perubahan ukuran saat Anda membuat MIG, lakukan hal berikut:

      1. Di kolom Number of instances, masukkan jumlah VM yang ingin Anda buat sekaligus.

      2. Centang kotak Use resize request to create VMs all at once.

      3. Opsional: Untuk menentukan durasi operasi VM yang berbeda dengan yang ditetapkan dalam template instance, di kolom Requested run duration dan daftar Unit, tentukan durasi. Durasi harus antara satu jam hingga tujuh hari.

    • Untuk membuat permintaan perubahan ukuran setelah Anda membuat MIG, masukkan 0 di kolom Jumlah instance.

  7. Di bagian Lokasi, tentukan apakah Anda ingin membuat MIG zona atau regional sebagai berikut:

    1. Untuk membuat MIG zona, pilih Single zone. Atau, untuk membuat MIG regional, pilih Beberapa zona.

    2. Pilih Region dan Zones MIG.

    3. Jika Anda membuat MIG regional, lakukan hal berikut:

      1. Di kolom Target distribution shape, pilih Any single zone.

      2. Pada dialog yang muncul, klik Nonaktifkan redistribusi instance.

  8. Klik Buat.

gcloud

Gunakan perintah instance-groups managed create dengan flag --default-action-on-vm-failure yang ditetapkan ke do_nothing. Jika membuat MIG regional, Anda juga harus menyertakan flag --target-distribution-shape yang ditetapkan ke any-single-zone, dan flag --instance-redistribution-type yang ditetapkan ke none.

  • Untuk membuat MIG zona, jalankan perintah berikut:

    gcloud compute instance-groups managed create INSTANCE_GROUP_NAME \
        --template=INSTANCE_TEMPLATE_URL \
        --size=0 \
        --zone=ZONE \
        --default-action-on-vm-failure=do_nothing
    
  • Untuk membuat MIG regional, jalankan perintah berikut:

    gcloud compute instance-groups managed create INSTANCE_GROUP_NAME \
        --template=INSTANCE_TEMPLATE_URL \
        --size=0 \
        --region=REGION \
        --target-distribution-shape=any-single-zone \
        --instance-redistribution-type=none \
        --default-action-on-vm-failure=do_nothing
    

Ganti kode berikut:

  • INSTANCE_GROUP_NAME: nama MIG yang akan dibuat.

  • INSTANCE_TEMPLATE_URL: URL sebagian dari template instance yang Anda buat di bagian sebelumnya. Jika ingin menggunakan template instance regional untuk membuat MIG, Anda hanya dapat membuat MIG dalam region template. Tentukan salah satu nilai berikut:

    • Untuk template instance regional: projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_NAME

    • Untuk template instance global: INSTANCE_TEMPLATE_NAME

  • ZONE: zona tempat membuat MIG.

  • REGION: region tempat membuat MIG.

REST

  • Untuk membuat MIG zona, kirim permintaan POST menggunakan metode instanceGroupManagers.insert sebagai berikut:

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers
    
    {
      "versions": [
        {
          "instanceTemplate": "INSTANCE_TEMPLATE_URL"
        }
      ],
      "name": "INSTANCE_GROUP_NAME",
      "targetSize": 0,
      "instanceLifecyclePolicy": {
        "defaultActionOnFailure": "DO_NOTHING"
      }
    }
    
  • Untuk membuat MIG regional, kirim permintaan POST menggunakan metode regionInstanceGroupManagers.insert seperti berikut:

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers
    
    {
      "versions": [
        {
          "instanceTemplate": "INSTANCE_TEMPLATE_URL"
        }
      ],
      "name": "INSTANCE_GROUP_NAME",
      "targetSize": 0,
      "distributionPolicy": {
        "targetShape": "ANY_SINGLE_ZONE"
      },
      "updatePolicy": {
        "instanceRedistributionType": "NONE"
      },
      "instanceLifecyclePolicy": {
        "defaultActionOnFailure": "DO_NOTHING"
      }
    }
    

Ganti kode berikut:

  • PROJECT_ID: ID project tempat template instance yang Anda buat di bagian sebelumnya berada.

  • INSTANCE_TEMPLATE_URL: URL sebagian dari template instance yang Anda buat di bagian sebelumnya. Jika ingin menggunakan template instance regional untuk membuat MIG, Anda hanya dapat membuat MIG dalam region template. Tentukan salah satu nilai berikut:

    • Untuk template instance regional: regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_NAME

    • Untuk template instance global: global/instanceTemplates/INSTANCE_TEMPLATE_NAME

  • ZONE: zona tempat membuat MIG.

  • REGION: region tempat membuat MIG.

  • INSTANCE_GROUP_NAME: nama MIG yang akan dibuat.

Membuat permintaan pengubahan ukuran di MIG

Sebelum membuat permintaan pengubahan ukuran MIG, pastikan Anda telah menyiapkan MIG seperti yang dijelaskan di bagian sebelumnya.

Setelah Anda membuat permintaan pengubahan ukuran dan semua resource yang diminta menjadi tersedia, MIG akan membuat jumlah VM yang diminta sekaligus. VM akan berjalan hingga MIG menghapusnya setelah durasi operasi yang ditentukan berakhir, atau hingga Anda menghapusnya.

Untuk membuat permintaan pengubahan ukuran di MIG, pilih salah satu opsi berikut. Untuk menambahkan VM dengan nama tertentu ke MIG melalui permintaan pengubahan ukuran, gunakan gcloud CLI atau REST API.

Konsol

  1. Di Google Cloud konsol, buka halaman Instance groups.

    Buka Instance groups

  2. Di kolom Name, klik nama MIG tempat Anda akan membuat permintaan perubahan ukuran.

    Halaman ringkasan MIG akan terbuka.

  3. Di baris Permintaan pengubahan ukuran, klik Edit permintaan pengubahan ukuran.

  4. Klik Permintaan pengubahan ukuran baru.

    Panel Permintaan perubahan ukuran baru akan muncul.

  5. Di kolom Name, masukkan nama permintaan pengubahan ukuran.

  6. Di kolom Number of additional instances needed, masukkan jumlah VM yang akan ditambahkan ke MIG sekaligus.

  7. Opsional: Untuk menentukan durasi operasi VM yang berbeda dengan yang ditetapkan di template instance, tentukan durasi di kolom Durasi operasi yang diminta dan Unit. Durasi harus antara satu jam dan tujuh hari.

  8. Klik Buat.

gcloud

Ganti kode berikut:

  • INSTANCE_GROUP_NAME: nama MIG yang dikonfigurasi untuk membuat permintaan pengubahan ukuran di dalamnya.

  • RESIZE_REQUEST_NAME: nama permintaan pengubahan ukuran, yang harus unik dalam MIG yang ditentukan. Jika tidak, pembuatan permintaan pengubahan ukuran akan gagal.

  • COUNT: jumlah VM yang akan ditambahkan ke MIG sekaligus.

  • ZONE: zona tempat MIG berada.

  • REGION: region tempat MIG berada.

Secara opsional, Anda dapat melakukan hal berikut:

REST

Dalam isi permintaan, sertakan hal berikut:

{
  "name": "RESIZE_REQUEST_NAME",
  "resizeBy": COUNT
}

Ganti kode berikut:

  • PROJECT_ID: ID project tempat MIG yang ditentukan berada.

  • ZONE: zona tempat MIG berada.

  • REGION: region tempat MIG berada.

  • INSTANCE_GROUP_NAME: nama MIG yang dikonfigurasi untuk membuat permintaan pengubahan ukuran di dalamnya.

  • RESIZE_REQUEST_NAME: nama permintaan pengubahan ukuran, yang harus unik dalam MIG yang ditentukan. Jika tidak, pembuatan permintaan pengubahan ukuran akan gagal.

  • COUNT: jumlah VM yang akan ditambahkan sekaligus ke MIG.

Secara opsional, Anda dapat melakukan hal berikut:

Langkah berikutnya