Halaman ini diterjemahkan oleh Cloud Translation API.

Membuat instance A3 Ultra atau A4
Tetap teratur dengan koleksi Simpan dan kategorikan konten berdasarkan preferensi Anda.

Dokumen ini menjelaskan cara membuat instance dengan GPU terpasang dari rangkaian mesin A3 Ultra atau A4. Untuk mempelajari lebih lanjut cara membuat instance dengan GPU yang terpasang, lihat Ringkasan pembuatan instance dengan GPU yang terpasang.

Sebelum memulai

Untuk meninjau batasan dan langkah prasyarat tambahan guna membuat instance dengan GPU yang terpasang, seperti memilih image OS dan memeriksa kuota GPU, lihat Ringkasan pembuatan instance dengan GPU yang terpasang.
Jika Anda belum melakukannya, siapkan autentikasi. Autentikasi adalah proses yang digunakan untuk memverifikasi identitas Anda agar dapat mengakses Google Cloud layanan dan API. Untuk menjalankan kode atau contoh dari lingkungan pengembangan lokal, Anda dapat mengautentikasi ke Compute Engine dengan memilih salah satu opsi berikut:

Select the tab for how you plan to use the samples on this page:
Console

When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.
gcloud
1. After installing the Google Cloud CLI, initialize it by running the following command:
  gcloud init
  If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.
  
  Note: If you installed the gcloud CLI previously, make sure you have the latest version by running gcloud components update.
2. Set a default region and zone.

Sebelum memulai

Select the tab for how you plan to use the samples on this page:

Console

When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

gcloud

In the Google Cloud console, activate Cloud Shell.

Activate Cloud Shell

At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
Set a default region and zone.

REST

Untuk menggunakan contoh REST API di halaman ini dalam lingkungan pengembangan lokal, gunakan kredensial yang Anda berikan ke gcloud CLI.

After installing the Google Cloud CLI, initialize it by running the following command:

gcloud init

If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

Untuk informasi selengkapnya, lihat Mengautentikasi untuk menggunakan REST dalam Google Cloud dokumentasi autentikasi.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk membuat instance, minta administrator untuk memberi Anda peran IAM Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) di project. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat instance. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat instance:

compute.instances.create pada project
Untuk menggunakan image kustom guna membuat VM: compute.images.useReadOnly pada image
Untuk menggunakan snapshot guna membuat VM: compute.snapshots.useReadOnly pada snapshot
Untuk menggunakan template instance guna membuat VM: compute.instanceTemplates.useReadOnly pada template instance
Untuk menetapkan jaringan lama ke VM: compute.networks.use pada project
Untuk menentukan alamat IP statis untuk VM: compute.addresses.use pada project
Untuk menetapkan alamat IP eksternal ke VM saat menggunakan jaringan lama: compute.networks.useExternalIp di project
Untuk menentukan subnet bagi VM Anda: compute.subnetworks.use di project atau di subnet yang dipilih
Untuk menetapkan alamat IP eksternal ke VM saat menggunakan jaringan VPC: compute.subnetworks.useExternalIp di project atau di subnet yang dipilih
Untuk menetapkan metadata instance VM untuk VM: compute.instances.setMetadata pada project
Untuk menetapkan tag untuk VM: compute.instances.setTags di VM
Untuk menetapkan label untuk VM: compute.instances.setLabels di VM
Untuk menetapkan akun layanan yang akan digunakan VM: compute.instances.setServiceAccount di VM
Untuk membuat disk baru bagi VM: compute.disks.create pada project
Untuk memasang disk yang ada dalam mode hanya baca atau baca-tulis: compute.disks.use pada disk
Untuk memasang disk yang ada dalam mode hanya baca: compute.disks.useReadOnly pada disk

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Membuat instance A3 Ultra atau A4

Instance A3 Ultra atau A4 tersedia melalui opsi pembuatan berikut, yang masing-masing memiliki prosedur pembuatan, ketersediaan resource, dan harga yang berbeda. Identifikasi opsi yang ingin Anda gunakan berdasarkan beban kerja Anda.

Jika Anda menjalankan beban kerja AI dan ML yang berjalan lama seperti pelatihan dan inferensi model besar yang memerlukan latensi terendah, sebaiknya gunakan Hypercompute Cluster (Pratinjau). Dengan Hypercompute Cluster, Anda dapat memesan mesin yang dialokasikan secara padat yang menyediakan penjadwalan berbasis topologi serta pemantauan dan pemeliharaan yang ditingkatkan untuk kapasitas yang direservasi ini. Untuk mempelajari Hypercompute Cluster lebih lanjut, lihat Hypercompute Cluster dalam dokumentasi Hypercomputer AI.

Untuk mengetahui petunjuk cara membuat instance A3 Ultra atau A4 menggunakan Cluster Hypercompute, lihat Ringkasan pembuatan VM dan cluster dalam dokumentasi AI Hypercomputer.
Jika menjalankan workload AI dan ML prioritas lebih rendah yang toleran terhadap gangguan ketersediaan, Anda bisa mendapatkan diskon yang signifikan dengan menggunakan Spot VM. Meskipun Anda dapat membuat dan menghapus Spot VM sesuai kebutuhan, Spot VM adalah resource terbatas yang mungkin tidak selalu tersedia, dan Compute Engine dapat melakukan preempt (otomatis menghentikan atau menghapus) Spot VM kapan saja. Untuk mempelajari Spot VM lebih lanjut, baca artikel Spot VM.

Untuk mengetahui petunjuk cara membuat instance A3 Ultra atau A4 menggunakan Spot VM, baca bagian Membuat instance A3 Ultra atau A4 menggunakan Spot VM berikut dalam dokumen ini.

Membuat instance A3 Ultra atau A4 menggunakan Spot VM

Untuk membuat instance A3 Ultra atau A4 menggunakan Spot VM, selesaikan langkah-langkah di bagian berikut:

Membuat jaringan VPC.
Buat Spot VM.
Menyiapkan Spot VM dengan GPU terpasang untuk digunakan.

Membuat jaringan VPC

Berdasarkan jenis mesin yang ingin Anda gunakan dan jumlah antarmuka jaringan dalam jenis mesin, Anda perlu membuat jaringan Virtual Private Cloud (VPC) sebagai berikut:

Jenis mesin	Jumlah NIC fisik^*	Antarmuka jaringan^†	Jumlah jaringan VPC yang akan dibuat
`a4-highgpu-8g`	10	2 antarmuka jaringan gVNIC yang digunakan untuk komunikasi host ke host 1 antarmuka jaringan RDMA (disertakan ke jaringan dengan 8 subnet) untuk komunikasi GPU ke GPU	3
`a3-ultragpu-8g`	10	2 antarmuka jaringan gVNIC yang digunakan untuk komunikasi host ke host. 1 antarmuka jaringan RDMA (disertakan ke jaringan dengan 8 subnet) untuk komunikasi GPU ke GPU.	3

^*Untuk informasi selengkapnya tentang pengaturan NIC, lihat Meninjau bandwidth jaringan dan pengaturan NIC.

^†Untuk informasi selengkapnya tentang antarmuka jaringan, lihat Menggunakan NIC Virtual Google dan Profil jaringan RDMA.

Siapkan jaringan secara manual dengan mengikuti panduan petunjuk atau secara otomatis menggunakan skrip yang disediakan.

Panduan petunjuk

Untuk membuat jaringan, Anda dapat menggunakan petunjuk berikut:

Untuk membuat jaringan host, lihat Membuat dan mengelola jaringan Virtual Private Cloud.
Untuk membuat jaringan GPU, lihat Membuat jaringan Virtual Private Cloud untuk NIC RDMA.

Skrip

Untuk membuat jaringan, Anda dapat menggunakan skrip berikut.

  #!/bin/bash

  # Create standard VPCs (network and subnets) for the gVNICs
  for N in $(seq 0 1); do
    gcloud beta compute networks create GVNIC_NAME_PREFIX-net-$N \
      --subnet-mode=custom

    gcloud beta compute networks subnets create GVNIC_NAME_PREFIX-sub-$N \
      --network=GVNIC_NAME_PREFIX-net-$N \
      --region=REGION \
      --range=10.$N.0.0/16

    gcloud beta compute firewall-rules create GVNIC_NAME_PREFIX-internal-$N \
      --network=GVNIC_NAME_PREFIX-net-$N \
      --action=ALLOW \
      --rules=tcp:0-65535,udp:0-65535,icmp \
      --source-ranges=10.0.0.0/8
  done

  # Create SSH firewall rules
  gcloud beta compute firewall-rules create GVNIC_NAME_PREFIX-ssh \
    --network=GVNIC_NAME_PREFIX-net-0 \
    --action=ALLOW \
    --rules=tcp:22 \
    --source-ranges=IP_RANGE

  # Assumes that an external IP is only created for vNIC 0
  gcloud beta compute firewall-rules create GVNIC_NAME_PREFIX-allow-ping-net-0 \
    --network=GVNIC_NAME_PREFIX-net-0 \
    --action=ALLOW \
    --rules=icmp \
    --source-ranges=IP_RANGE

  # List and make sure network profiles exist
  gcloud beta compute network-profiles list

  # Create network for CX-7
  gcloud beta compute networks create RDMA_NAME_PREFIX-mrdma \
    --network-profile=ZONE-vpc-roce \
    --subnet-mode custom

  # Create subnets.
  for N in $(seq 0 7); do
    gcloud beta compute networks subnets create RDMA_NAME_PREFIX-mrdma-sub-$N \
      --network=RDMA_NAME_PREFIX-mrdma \
      --region=REGION \
      --range=10.$((N+2)).0.0/16  # offset to avoid overlap with gVNICs
  done

Ganti kode berikut:

GVNIC_NAME_PREFIX: awalan nama yang akan digunakan untuk jaringan VPC dan subnet standar yang menggunakan NIC gVNIC.
RDMA_NAME_PREFIX: awalan nama yang akan digunakan untuk jaringan dan subnet VPC yang menggunakan NIC RDMA.
ZONE: menentukan zona tempat jenis mesin yang ingin Anda gunakan tersedia. Untuk informasi tentang region, lihat Region dan zona GPU.
REGION: region tempat Anda ingin membuat jaringan. Nilai ini harus sesuai dengan zona yang ditentukan. Misalnya, jika zona Anda adalah europe-west1-b, maka region Anda adalah europe-west1.
IP_RANGE: rentang IP yang akan digunakan untuk aturan firewall SSH.

Membuat Spot VM

Untuk membuat Spot VM, gunakan salah satu metode berikut:

Konsol

Di konsol Google Cloud, buka halaman Create an instance.

Buka halaman Buat instance

Layar Create an instance akan muncul dan menampilkan panel Machine configuration.
Di panel Machine configuration, selesaikan langkah-langkah berikut:
1. Tentukan Nama untuk instance Anda. Lihat Konvensi penamaan resource.
2. Pilih Region dan Zone tempat Anda ingin memesan kapasitas. Lihat daftar region dan zona GPU yang tersedia.
3. Klik tab GPU, lalu selesaikan langkah-langkah berikut:
  1. Pada daftar GPU type, pilih jenis GPU Anda.
    - Untuk instance A4, pilih NVIDIA B200
    - Untuk instance A3 Ultra, pilih NVIDIA H200 141GB
  2. Dalam daftar Number of GPUs, pilih 8.
Di menu navigasi, klik OS and storage. Di panel OS dan penyimpanan yang muncul, selesaikan langkah-langkah berikut:
1. Klik Ubah. Panel Boot disk configuration akan terbuka.
2. Pada tab Public images, pilih image yang direkomendasikan. Untuk daftar image yang direkomendasikan, lihat Sistem operasi.
3. Untuk mengonfirmasi opsi boot disk, klik Select.
Untuk membuat instance multi-NIC, selesaikan langkah-langkah berikut. Jika tidak, untuk membuat instance NIC tunggal, lewati langkah-langkah ini.
1. Di menu navigasi, klik Networking. Di panel Networking yang muncul, selesaikan langkah-langkah berikut:
  1. Di bagian Network interfaces, selesaikan langkah-langkah berikut:
  2. Hapus antarmuka jaringan default. Untuk menghapus antarmuka, klik Hapus.
  3. Klik Add a network interface. Gunakan opsi ini untuk menambahkan jaringan gVNIC dan RDMA yang Anda buat di bagian sebelumnya. Saat menambahkan jaringan, ingatlah hal berikut:
    - Tentukan jaringan host Anda dalam daftar Jaringan dan Subnetwork, lalu tetapkan daftar Kartu antarmuka jaringan ke gVNIC.
    - Tentukan jaringan GPU Anda dalam daftar Jaringan dan Sub-jaringan, lalu tetapkan daftar Kartu antarmuka jaringan ke MRDMA untuk jaringan ini.
Di menu navigasi, klik Lanjutan. Di panel Advanced yang muncul, selesaikan langkah-langkah berikut:
1. Di bagian Provisioning model, pilih Spot dalam daftar VM provisioning model.
2. Opsional: Untuk menentukan tindakan yang akan diambil saat Compute Engine melakukan preempt terhadap instance (berhenti (default) atau hapus), selesaikan langkah-langkah berikut:
  1. Luaskan bagian VM provisioning model advanced settings.
  2. Dalam daftar Pada penghentian VM, pilih opsi.
Untuk membuat dan memulai instance, klik Create.

gcloud

Untuk membuat instance, gunakan perintah gcloud beta compute instances create:

gcloud beta compute instance create INSTANCE_NAME  \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --provisioning-model=SPOT \
    --instance-termination-action=TERMINATION_ACTION \
    --zone=ZONE \
    --boot-disk-type=hyperdisk-balanced \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-0,subnet=GVNIC_NAME_PREFIX-sub-0 \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-1,subnet=GVNIC_NAME_PREFIX-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-0,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-2,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-3,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-4,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-5,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-6,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-7,no-address

Ganti kode berikut:

INSTANCE_NAME: nama instance.
MACHINE_TYPE: jenis mesin yang akan digunakan untuk instance, a3-ultragpu-8g atau a4-highgpu-8g.
IMAGE_FAMILY: kelompok image OS image yang ingin Anda gunakan. Untuk mengetahui opsi, lihat Detail sistem operasi.
IMAGE_PROJECT: project ID image OS.
TERMINATION_ACTION: Opsional: tentukan tindakan yang akan diambil saat Compute Engine melakukan preempt terhadap instance, baik STOP (perilaku default) atau DELETE.
ZONE: zona tempat Anda ingin membuat instance. Untuk mengetahui opsi, lihat Region dan zona GPU.
DISK_SIZE: ukuran boot disk dalam GB.

REST

Untuk membuat instance, buat permintaan POST ke metode instances.insert seperti berikut:

POST https://compute.googleapis.com/compute/beta/projects/PROJECT_ID/zones/ZONE/
{
  {
    "machineType":"projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
    "name":"INSTANCE_NAME",
    "disks":[
        {
          "boot":true,
          "initializeParams":{
              "diskSizeGb":"DISK_SIZE",
              "diskType":"hyperdisk-balanced",
              "sourceImage":"projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
          },
          "mode":"READ_WRITE",
          "type":"PERSISTENT"
        }
    ],
    "networkInterfaces": [
      {
        "accessConfigs": [
          {
            "name": "external-nat",
            "type": "ONE_TO_ONE_NAT"
          }
        ],
        "network": "projects/PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-0",
        "nicType": "GVNIC",
        "subnetwork": "projects/PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-0"
      },
      {
        "network": "projects/PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-1",
        "nicType": "GVNIC",
        "subnetwork": "projects/PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-1"
      },
      {
        "network": "projects/PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-0"
      },
      {
        "network": "projects/PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-1"
      },
      {
        "network": "projects/PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-2"
      },
      {
        "network": "projects/PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-3"
      },
      {
        "network": "projects/PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-4"
      },
      {
        "network": "projects/PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-5"
      },
      {
        "network": "projects/PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-6"
      },
      {
        "network": "projects/PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-7"
      }
      ],
    "scheduling":{
      "provisioningModel":"SPOT",
      "instanceTerminationAction":"TERMINATION_ACTION"
    }
  }
}

Ganti kode berikut:

PROJECT_ID: project ID dari project tempat Anda ingin membuat instance.
ZONE: zona tempat Anda ingin membuat instance. Untuk mengetahui opsi, lihat Region dan zona GPU.
MACHINE_TYPE: jenis mesin yang akan digunakan untuk instance, a3-ultragpu-8g atau a4-highgpu-8g.
INSTANCE_NAME: nama instance.
DISK_SIZE: ukuran boot disk dalam GB.
IMAGE_PROJECT: project ID image OS.
IMAGE_FAMILY: kelompok image OS image yang ingin Anda gunakan. Untuk mengetahui opsi, lihat Detail sistem operasi.
TERMINATION_ACTION: Opsional: tentukan tindakan yang akan diambil saat Compute Engine melakukan preempt terhadap instance, baik STOP (perilaku default) atau DELETE.

Menyiapkan Spot VM dengan GPU terpasang untuk digunakan

Untuk menyiapkan Spot VM dengan GPU yang terpasang untuk digunakan, selesaikan langkah-langkah berikut:

Agar instance dapat menggunakan GPU yang terpasang, instance memerlukan driver GPU. Kecuali jika Anda menentukan image yang sudah menyertakan driver GPU yang diperlukan, ikuti langkah-langkah untuk Menginstal driver GPU.
Untuk menyiapkan Spot VM agar dapat digunakan, selesaikan langkah-langkah berikut:
- Untuk mempelajari cara memastikan Spot VM dapat menahan preemption, lihat Mengelola preemption Spot VM.
- Opsional: Pelajari praktik terbaik untuk menggunakan Spot VM.

Langkah berikutnya

Untuk memantau performa GPU, baca Memantau performa GPU.
Untuk memecahkan masalah instance GPU, lihat Memecahkan masalah VM GPU.
Pelajari platform GPU lebih lanjut.

Membuat instance A3 Ultra atau A4 Tetap teratur dengan koleksi Simpan dan kategorikan konten berdasarkan preferensi Anda.

Sebelum memulai

Console

gcloud

REST

Sebelum memulai

Console

gcloud

REST

Peran yang diperlukan

Izin yang diperlukan

Membuat instance A3 Ultra atau A4

Membuat instance A3 Ultra atau A4 menggunakan Spot VM

Membuat jaringan VPC

Panduan petunjuk

Skrip

Membuat Spot VM

Konsol

gcloud

REST

Menyiapkan Spot VM dengan GPU terpasang untuk digunakan

Langkah berikutnya

Membuat instance A3 Ultra atau A4
Tetap teratur dengan koleksi Simpan dan kategorikan konten berdasarkan preferensi Anda.