Membuat VM A3, A2, atau G2

Tetap teratur dengan koleksi Simpan dan kategorikan konten berdasarkan preferensi Anda.

Dokumen ini menjelaskan cara membuat VM yang menggunakan jenis mesin dari seri mesin A3 High, A3 Mega, A3 Edge, A2, dan G2. Untuk mempelajari lebih lanjut cara membuat VM dengan GPU yang terpasang, lihat Ringkasan pembuatan instance dengan GPU yang terpasang.

Sebelum memulai

• Untuk meninjau batasan dan langkah prasyarat tambahan guna membuat instance dengan GPU yang terpasang, seperti memilih image OS dan memeriksa kuota GPU, lihat Ringkasan pembuatan instance dengan GPU yang terpasang.
• Jika Anda belum melakukannya, siapkan autentikasi. Autentikasi adalah proses yang digunakan untuk memverifikasi identitas Anda agar dapat mengakses Google Cloud layanan dan API. Untuk menjalankan kode atau contoh dari lingkungan pengembangan lokal, Anda dapat mengautentikasi ke Compute Engine dengan memilih salah satu opsi berikut:
  

  Select the tab for how you plan to use the samples on this page:

  Console

  When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

  gcloud

  1. After installing the Google Cloud CLI, initialize it by running the following command:

     gcloud init

     If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  2. Set a default region and zone.

  REST

  Untuk menggunakan contoh REST API di halaman ini dalam lingkungan pengembangan lokal, gunakan kredensial yang Anda berikan ke gcloud CLI.

  After installing the Google Cloud CLI, initialize it by running the following command:

  gcloud init

  If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  Untuk informasi selengkapnya, lihat Mengautentikasi untuk menggunakan REST dalam Google Cloud dokumentasi autentikasi.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk membuat VM, minta administrator untuk memberi Anda peran IAM Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) di project. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat VM. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Buat VM yang telah memasang GPU

Anda dapat membuat VM yang dioptimalkan akselerator A3 High, A3 Mega, A3 Edge, A2, atau G2 menggunakan konsol Google Cloud, Google Cloud CLI, atau REST.

Untuk melakukan beberapa penyesuaian pada VM G2, Anda mungkin perlu menggunakan Google Cloud CLI atau REST. Lihat Batasan G2.

  gcloud compute instances create VM_NAME \
      --machine-type=MACHINE_TYPE \
      --zone=ZONE \
      --boot-disk-size=DISK_SIZE \
      --image=IMAGE \
      --image-project=IMAGE_PROJECT \
      --maintenance-policy=TERMINATE \
      [--provisioning-model=SPOT] \
      [--accelerator=type=nvidia-l4-vws,count=VWS_ACCELERATOR_COUNT]
  

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
"machineType": "projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
"disks":
[
  {
    "type": "PERSISTENT",
    "initializeParams":
    {
      "diskSizeGb": "DISK_SIZE",
      "sourceImage": "SOURCE_IMAGE_URI"
    },
    "boot": true
  }
],
"name": "VM_NAME",
"networkInterfaces":
[
  {
    "network": "projects/PROJECT_ID/global/networks/NETWORK"
  }
],
"scheduling":
{
  "onHostMaintenance": "terminate",
  ["automaticRestart": true]
},
}

Menginstal driver

Agar VM dapat menggunakan GPU, Anda harus Menginstal driver GPU di VM.

Contoh

Dalam contoh ini, sebagian besar VM dibuat menggunakan Google Cloud CLI. Namun, Anda juga dapat menggunakan konsol Google Cloud atau REST untuk membuat VM ini.

Contoh berikut menunjukkan cara membuat VM menggunakan image berikut:

• Deep Learning VM Image. Contoh ini menggunakan VM Standar A2 (a2-highgpu-1g).
• Image yang dioptimalkan container (COS). Contoh ini menggunakan VM a3-highgpu-8g atau a3-edgegpu-8g.

• Gambar publik. Contoh ini menggunakan VM G2.

GPU Multi-Instance (khusus VM A3 dan A2)

Multi-Instance GPU mempartisi satu GPU NVIDIA H100 atau A100 dalam VM yang sama ke dalam hingga tujuh instance GPU independen. Keduanya berjalan secara bersamaan, masing-masing dengan memori, cache, dan multiprosesor streaming sendiri. Penyiapan ini memungkinkan GPU NVIDIA H100 atau A100 memberikan kualitas layanan (QoS) yang dijamin hingga 7x lebih tinggi dibandingkan dengan model GPU sebelumnya.

Anda dapat membuat hingga tujuh GPU Multi-instance. Untuk GPU A100 40 GB, setiap GPU Multi-instance dialokasikan memori 5 GB. Dengan GPU A100 80 GB dan H100 80 GB, memori yang dialokasikan akan meningkat dua kali lipat menjadi 10 GB.

Untuk mengetahui informasi selengkapnya tentang penggunaan GPU Multi-Instance, lihat Panduan Pengguna Multi-Instance GPU NVIDIA.

Untuk membuat GPU Multi-Instance, selesaikan langkah-langkah berikut:

1. Buat VM yang dioptimalkan akselerator A3 High, A3 Mega, A3 Edge, atau A2.

2. Aktifkan driver GPU NVIDIA.

3. Aktifkan GPU Multi-Instance.

   sudo nvidia-smi -mig 1
   

4. Tinjau bentuk GPU Multi-Instance yang tersedia.

   sudo nvidia-smi mig --list-gpu-instance-profiles
   

   Outputnya mirip dengan berikut ini:

   +-----------------------------------------------------------------------------+
   | GPU instance profiles:                                                      |
   | GPU   Name             ID    Instances   Memory     P2P    SM    DEC   ENC  |
   |                              Free/Total   GiB              CE    JPEG  OFA  |
   |=============================================================================|
   |   0  MIG 1g.10gb       19     7/7        9.62       No     16     1     0   |
   |                                                             1     1     0   |
   +-----------------------------------------------------------------------------+
   |   0  MIG 1g.10gb+me    20     1/1        9.62       No     16     1     0   |
   |                                                             1     1     1   |
   +-----------------------------------------------------------------------------+
   |   0  MIG 1g.20gb       15     4/4        19.50      No     26     1     0   |
   |                                                             1     1     0   |
   +-----------------------------------------------------------------------------+
   |   0  MIG 2g.20gb       14     3/3        19.50      No     32     2     0   |
   |                                                             2     2     0   |
   +-----------------------------------------------------------------------------+
   |   0  MIG 3g.40gb        9     2/2        39.25      No     60     3     0   |
   |                                                             3     3     0   |
   +-----------------------------------------------------------------------------+
   .......
   

5. Buat Multi-Instance GPU (GI) dan instance komputasi (CI) terkait yang Anda inginkan. Anda dapat membuat instance ini dengan menentukan nama profil, ID profil, atau kombinasi keduanya, baik yang lengkap maupun disingkat. Untuk mengetahui informasi selengkapnya, lihat Membuat Instance GPU.

   Contoh berikut membuat dua instance GPU MIG 3g.20gb menggunakan ID profil (9).

   Flag -C juga ditentukan yang membuat instance komputasi terkait untuk profil yang diperlukan.

   sudo nvidia-smi mig -cgi 9,9 -C
   

6. Pastikan dua GPU Multi-Instance telah dibuat:

   sudo nvidia-smi mig -lgi
   

7. Pastikan GI dan CI yang sesuai telah dibuat.

   sudo nvidia-smi
   

   Outputnya mirip dengan berikut ini:

   +-----------------------------------------------------------------------------+
   | NVIDIA-SMI 525.125.06   Driver Version: 525.125.06   CUDA Version: 12.0     |
   |-------------------------------+----------------------+----------------------+
   | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
   | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
   |                               |                      |               MIG M. |
   |===============================+======================+======================|
   |   0  NVIDIA H100 80G...  Off  | 00000000:04:00.0 Off |                   On |
   | N/A   33C    P0    70W / 700W |     39MiB / 81559MiB |     N/A      Default |
   |                               |                      |              Enabled |
   +-------------------------------+----------------------+----------------------+
   |   1  NVIDIA H100 80G...  Off  | 00000000:05:00.0 Off |                   On |
   | N/A   32C    P0    69W / 700W |     39MiB / 81559MiB |     N/A      Default |
   |                               |                      |              Enabled |
   +-------------------------------+----------------------+----------------------+
   ......
   
   +-----------------------------------------------------------------------------+
   | MIG devices:                                                                |
   +------------------+----------------------+-----------+-----------------------+
   | GPU  GI  CI  MIG |         Memory-Usage |        Vol|         Shared        |
   |      ID  ID  Dev |           BAR1-Usage | SM     Unc| CE  ENC  DEC  OFA  JPG|
   |                  |                      |        ECC|                       |
   |==================+======================+===========+=======================|
   |  0    1   0   0  |     19MiB / 40192MiB | 60      0 |  3   0    3    0    3 |
   |                  |      0MiB / 65535MiB |           |                       |
   +------------------+----------------------+-----------+-----------------------+
   |  0    2   0   1  |     19MiB / 40192MiB | 60      0 |  3   0    3    0    3 |
   |                  |      0MiB / 65535MiB |           |                       |
   +------------------+----------------------+-----------+-----------------------+
   ......
   
   +-----------------------------------------------------------------------------+
   | Processes:                                                                  |
   |  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
   |        ID   ID                                                   Usage      |
   |=============================================================================|
   |  No running processes found                                                 |
   +-----------------------------------------------------------------------------+
   

Apa langkah selanjutnya?

• Pelajari platform GPU lebih lanjut.
• Tambahkan SSD Lokal ke instance Anda. Perangkat SSD lokal berfungsi baik dengan GPU saat aplikasi Anda memerlukan penyimpanan berperforma tinggi.
• Instal driver GPU.
• Jika Anda mengaktifkan workstation virtual NVIDIA RTX, instal driver untuk workstation virtual.
• Untuk menangani pemeliharaan host GPU, lihat Menangani peristiwa pemeliharaan host GPU.