建立 A3、A2 或 G2 VM

透過集合功能整理內容 你可以依據偏好儲存及分類內容。

本文說明如何建立使用 A3 High、A3 Mega、A3 Edge、A2 和 G2 機器系列的機器類型 VM。如要進一步瞭解如何建立連接 GPU 的 VM，請參閱建立附加 GPU 的執行個體總覽。

事前準備

• 如要查看建立附加 GPU 執行個體的限制和其他必要步驟 (例如選取 OS 映像檔和檢查 GPU 配額)，請參閱「建立附加 GPU 執行個體的總覽」。
• 如果尚未設定，請先設定驗證機制。驗證是指驗證身分，以便存取 Google Cloud 服務和 API 的程序。如要在本機開發環境中執行程式碼或範例，您可以選取下列任一選項，向 Compute Engine 進行驗證：
  

  Select the tab for how you plan to use the samples on this page:

  Console

  When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

  gcloud

  1. After installing the Google Cloud CLI, initialize it by running the following command:

     gcloud init

     If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  2. Set a default region and zone.

  REST

  To use the REST API samples on this page in a local development environment, you use the credentials you provide to the gcloud CLI.

  After installing the Google Cloud CLI, initialize it by running the following command:

  gcloud init

  If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  For more information, see Authenticate for using REST in the Google Cloud authentication documentation.

必要的角色

如要取得建立 VM 所需的權限，請要求管理員為您授予專案的 Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) IAM 角色。如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和機構的存取權」。

這個預先定義的角色包含建立 VM 所需的權限。如要查看確切的必要權限，請展開「必要權限」部分：

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

建立已連結 GPU 的 VM

您可以使用 Google Cloud 控制台、Google Cloud CLI 或 REST，建立 A3 High、A3 Mega、A3 Edge、A2 或 G2 加速器最佳化 VM。

如要對 G2 VM 進行部分自訂設定，您可能需要使用 Google Cloud CLI 或 REST。請參閱G2 限制。

  gcloud compute instances create VM_NAME \
      --machine-type=MACHINE_TYPE \
      --zone=ZONE \
      --boot-disk-size=DISK_SIZE \
      --image=IMAGE \
      --image-project=IMAGE_PROJECT \
      --maintenance-policy=TERMINATE \
      [--provisioning-model=SPOT] \
      [--accelerator=type=nvidia-l4-vws,count=VWS_ACCELERATOR_COUNT]
  

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
"machineType": "projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
"disks":
[
  {
    "type": "PERSISTENT",
    "initializeParams":
    {
      "diskSizeGb": "DISK_SIZE",
      "sourceImage": "SOURCE_IMAGE_URI"
    },
    "boot": true
  }
],
"name": "VM_NAME",
"networkInterfaces":
[
  {
    "network": "projects/PROJECT_ID/global/networks/NETWORK"
  }
],
"scheduling":
{
  "onHostMaintenance": "terminate",
  ["automaticRestart": true]
},
}

安裝驅動程式

如要讓 VM 使用 GPU，您必須在 VM 上安裝 GPU 驅動程式。

範例

在這些範例中，大多數的 VM 都是使用 Google Cloud CLI 建立。不過，您也可以使用 Google Cloud 控制台或 REST 建立這些 VM。

以下範例說明如何使用以下映像檔建立 VM：

• 深度學習 VM 映像檔。本範例使用 A2 Standard (a2-highgpu-1g) VM。
• Container-optimized (COS) image。本範例使用 a3-highgpu-8g 或 a3-edgegpu-8g VM。

• 公開圖片：本範例使用 G2 VM。

多執行個體 GPU (僅限 A3 和 A2 VM)

多執行個體 GPU 會將同一個 VM 中的單一 NVIDIA H100 或 A100 GPU 分割成最多七個獨立的 GPU 執行個體。這些處理器會同時執行，每個處理器都有自己的記憶體、快取和串流多處理器。這項設定可讓 NVIDIA H100 或 A100 GPU 提供保證的服務品質 (QoS)，且比先前 GPU 型號的使用率高出 7 倍。

您最多可以建立七個多重執行個體 GPU。對於 A100 40GB GPU，每個多重執行個體 GPU 都會分配 5 GB 記憶體。使用 A100 80GB 和 H100 80GB GPU 時，系統會將分配的記憶體加倍至各 10 GB。

如要進一步瞭解如何使用多重實例 GPU，請參閱 NVIDIA 多重實例 GPU 使用者指南。

如要建立多重執行個體 GPU，請完成下列步驟：

1. 建立 A3 High、A3 Mega、A3 Edge 或 A2 加速器最佳化 VM。

2. 啟用 NVIDIA GPU 驅動程式。

3. 啟用多執行個體 GPU。

   sudo nvidia-smi -mig 1
   

4. 查看可用的多執行個體 GPU 形狀。

   sudo nvidia-smi mig --list-gpu-instance-profiles
   

   輸出結果會與下列內容相似：

   +-----------------------------------------------------------------------------+
   | GPU instance profiles:                                                      |
   | GPU   Name             ID    Instances   Memory     P2P    SM    DEC   ENC  |
   |                              Free/Total   GiB              CE    JPEG  OFA  |
   |=============================================================================|
   |   0  MIG 1g.10gb       19     7/7        9.62       No     16     1     0   |
   |                                                             1     1     0   |
   +-----------------------------------------------------------------------------+
   |   0  MIG 1g.10gb+me    20     1/1        9.62       No     16     1     0   |
   |                                                             1     1     1   |
   +-----------------------------------------------------------------------------+
   |   0  MIG 1g.20gb       15     4/4        19.50      No     26     1     0   |
   |                                                             1     1     0   |
   +-----------------------------------------------------------------------------+
   |   0  MIG 2g.20gb       14     3/3        19.50      No     32     2     0   |
   |                                                             2     2     0   |
   +-----------------------------------------------------------------------------+
   |   0  MIG 3g.40gb        9     2/2        39.25      No     60     3     0   |
   |                                                             3     3     0   |
   +-----------------------------------------------------------------------------+
   .......
   

5. 建立所需的多執行個體 GPU (GI) 和相關聯的運算執行個體 (CI)。您可以指定完整或縮寫的設定檔名稱、設定檔 ID，或兩者的組合，建立這些執行個體。詳情請參閱「建立 GPU 執行個體」。

   以下範例會使用設定檔 ID (9) 建立兩個 MIG 3g.20gb GPU 執行個體。

   您也可以指定 -C 旗標，為必要設定檔建立相關聯的運算執行個體。

   sudo nvidia-smi mig -cgi 9,9 -C
   

6. 檢查是否已建立兩個多重執行個體 GPU：

   sudo nvidia-smi mig -lgi
   

7. 檢查是否已建立 GI 和對應的 CI。

   sudo nvidia-smi
   

   輸出結果會與下列內容相似：

   +-----------------------------------------------------------------------------+
   | NVIDIA-SMI 525.125.06   Driver Version: 525.125.06   CUDA Version: 12.0     |
   |-------------------------------+----------------------+----------------------+
   | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
   | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
   |                               |                      |               MIG M. |
   |===============================+======================+======================|
   |   0  NVIDIA H100 80G...  Off  | 00000000:04:00.0 Off |                   On |
   | N/A   33C    P0    70W / 700W |     39MiB / 81559MiB |     N/A      Default |
   |                               |                      |              Enabled |
   +-------------------------------+----------------------+----------------------+
   |   1  NVIDIA H100 80G...  Off  | 00000000:05:00.0 Off |                   On |
   | N/A   32C    P0    69W / 700W |     39MiB / 81559MiB |     N/A      Default |
   |                               |                      |              Enabled |
   +-------------------------------+----------------------+----------------------+
   ......
   
   +-----------------------------------------------------------------------------+
   | MIG devices:                                                                |
   +------------------+----------------------+-----------+-----------------------+
   | GPU  GI  CI  MIG |         Memory-Usage |        Vol|         Shared        |
   |      ID  ID  Dev |           BAR1-Usage | SM     Unc| CE  ENC  DEC  OFA  JPG|
   |                  |                      |        ECC|                       |
   |==================+======================+===========+=======================|
   |  0    1   0   0  |     19MiB / 40192MiB | 60      0 |  3   0    3    0    3 |
   |                  |      0MiB / 65535MiB |           |                       |
   +------------------+----------------------+-----------+-----------------------+
   |  0    2   0   1  |     19MiB / 40192MiB | 60      0 |  3   0    3    0    3 |
   |                  |      0MiB / 65535MiB |           |                       |
   +------------------+----------------------+-----------+-----------------------+
   ......
   
   +-----------------------------------------------------------------------------+
   | Processes:                                                                  |
   |  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
   |        ID   ID                                                   Usage      |
   |=============================================================================|
   |  No running processes found                                                 |
   +-----------------------------------------------------------------------------+
   

後續步驟

• 進一步瞭解 GPU 平台。
• 為執行個體新增本機 SSD。如果您的應用程式需要高效能的儲存空間，本機 SSD 裝置和 GPU 是絕佳拍檔。
• 安裝 GPU 驅動程式。
• 如果您已啟用 NVIDIA RTX 虛擬工作站，請為虛擬工作站安裝驅動程式。
• 如要處理 GPU 主機維護作業，請參閱「處理 GPU 主機維護事件」。