创建加速器优化型虚拟机

本文档介绍如何创建使用加速器优化机器系列的虚拟机。加速器优化型机器家族适用于 A3、A2 和 G2 机器类型。

每种加速器优化机器类型都挂接了特定型号的 NVIDIA GPU。

• 对于 A3 加速器优化机器类型，挂接了 NVIDIA H100 80GB GPU。以下是可用选项：
  • A3 High (a3-highgpu-8g)：此机器类型挂接了 H100 80GB GPU
  • A3 Mega (a3-megagpu-8g)：此机器类型挂接了 H100 80GB Mega GPU
• 对于 A2 加速器优化机器类型，挂接了 NVIDIA A100 GPU。以下是可用选项：
  • A2 标准（a2-highgpu-*、a2-megagpu-*）：这些机器类型挂接了 A100 40GB GPU
  • A2 Ultra (a2-ultragpu-*)：这些机器类型挂接了 A100 80GB GPU
• 对于 G2 加速器优化机器类型 (g2-standard-*)，挂接了 NVIDIA L4 GPU。

准备工作

• 如需查看其他前提条件步骤（例如选择操作系统映像和检查 GPU 配额），请参阅概览文档。
• 设置身份验证（如果尚未设置）。身份验证是通过其进行身份验证以访问 Google Cloud 服务和 API 的过程。如需从本地开发环境运行代码或示例，您可以按如下方式向 Compute Engine 进行身份验证。
  

  Select the tab for how you plan to use the samples on this page:

  Console

  When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

  gcloud

  1. Install the Google Cloud CLI, then initialize it by running the following command:

     gcloud init

  2. Set a default region and zone.

  REST

  如需在本地开发环境中使用本页面上的 REST API 示例，请使用您提供给 gcloud CLI 的凭据。

  Install the Google Cloud CLI, then initialize it by running the following command:

  gcloud init

  如需了解详情，请参阅 Google Cloud 身份验证文档中的使用 REST 时进行身份验证。

所需的角色

如需获得创建虚拟机所需的权限，请让您的管理员为您授予项目的 Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) IAM 角色。如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

此预定义角色可提供创建虚拟机所需的权限。如需查看所需的确切权限，请展开所需权限部分：

您也可以使用自定义角色或其他预定义角色来获取这些权限。

创建挂接了 GPU 的虚拟机

您可以使用 Google Cloud 控制台、Google Cloud CLI 或 REST 创建 A3、A2 或 G2 加速器优化虚拟机。

如需对 G2 虚拟机进行一些自定义，您可能需要使用 Google Cloud CLI 或 REST。请参阅 G2 限制。

  gcloud compute instances create VM_NAME \
      --machine-type=MACHINE_TYPE \
      --zone=ZONE \
      --boot-disk-size=DISK_SIZE \
      --image=IMAGE \
      --image-project=IMAGE_PROJECT \
      --maintenance-policy=TERMINATE \
      [--provisioning-model=SPOT] \
      [--accelerator=type=nvidia-l4-vws,count=VWS_ACCELERATOR_COUNT]
  

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
"machineType": "projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
"disks":
[
  {
    "type": "PERSISTENT",
    "initializeParams":
    {
      "diskSizeGb": "DISK_SIZE",
      "sourceImage": "SOURCE_IMAGE_URI"
    },
    "boot": true
  }
],
"name": "VM_NAME",
"networkInterfaces":
[
  {
    "network": "projects/PROJECT_ID/global/networks/NETWORK"
  }
],
"scheduling":
{
  "onHostMaintenance": "terminate",
  ["automaticRestart": true]
},
}

限制

安装驱动程序

如需让虚拟机使用 GPU，您需要在虚拟机上安装 GPU 驱动程序。

示例

在这些示例中，大多数虚拟机都是使用 Google Cloud CLI 创建的。不过，您也可以使用 Google Cloud 控制台或 REST 来创建这些虚拟机。

以下示例展示了如何使用以下映像创建虚拟机：

• Deep Learning VM Image 映像。此示例使用 A2 标准 (a2-highgpu-1g) 虚拟机。
• Container-Optimized (COS) 映像。此示例使用 a3-highgpu-8g A3 虚拟机。

• 公共映像。此示例使用 G2 虚拟机。

多实例 GPU（仅限 A3 和 A2 虚拟机）

多实例 GPU 可将一个虚拟机中的单个 NVIDIA H100 或 A100 GPU 划分为最多七个独立的 GPU 实例。这些实例同时运行，每个实例都有自己的内存、缓存和流式多处理器。与以前的 GPU 型号相比，此设置让 NVIDIA H100 或 A100 GPU 以最多 7 倍的利用率提供有保证的服务质量 (QoS)。

您最多可以创建七个多实例 GPU。对于 A100 40GB GPU，每个多实例 GPU 都分配了 5 GB 内存。对于 A100 80GB 和 H100 80GB GPU，各自分配的内存会翻倍，达到 10 GB。

如需详细了解如何使用多实例 GPU，请参阅 NVIDIA 多实例 GPU 用户指南。

要创建多实例 GPU，请完成以下步骤：

1. 创建 A3 或 A2 加速器优化虚拟机。

2. 启用 NVIDIA GPU 驱动程序。

3. 启用多实例 GPU。

   sudo nvidia-smi -mig 1
   

4. 查看可用的多实例 GPU 形式。

   sudo nvidia-smi mig --list-gpu-instance-profiles
   

   输出内容类似如下：

   +-----------------------------------------------------------------------------+
   | GPU instance profiles:                                                      |
   | GPU   Name             ID    Instances   Memory     P2P    SM    DEC   ENC  |
   |                              Free/Total   GiB              CE    JPEG  OFA  |
   |=============================================================================|
   |   0  MIG 1g.10gb       19     7/7        9.62       No     16     1     0   |
   |                                                             1     1     0   |
   +-----------------------------------------------------------------------------+
   |   0  MIG 1g.10gb+me    20     1/1        9.62       No     16     1     0   |
   |                                                             1     1     1   |
   +-----------------------------------------------------------------------------+
   |   0  MIG 1g.20gb       15     4/4        19.50      No     26     1     0   |
   |                                                             1     1     0   |
   +-----------------------------------------------------------------------------+
   |   0  MIG 2g.20gb       14     3/3        19.50      No     32     2     0   |
   |                                                             2     2     0   |
   +-----------------------------------------------------------------------------+
   |   0  MIG 3g.40gb        9     2/2        39.25      No     60     3     0   |
   |                                                             3     3     0   |
   +-----------------------------------------------------------------------------+
   .......
   

5. 创建所需的多实例 GPU (GI) 和关联的计算实例 (CI)。您可以通过指定完整或缩短的配置文件名称、配置文件 ID 或两者的组合来创建这些实例。如需了解详情，请参阅创建 GPU 实例。

   以下示例使用配置文件 ID (9) 创建两个 MIG 3g.20gb GPU 实例。

   还指定了 -C 标志，用于为所需的配置文件创建关联的计算实例。

   sudo nvidia-smi mig -cgi 9,9 -C
   

6. 检查是否已创建两个多实例 GPU：

   sudo nvidia-smi mig -lgi
   

7. 检查是否已创建 GI 和相应的 CI。

   sudo nvidia-smi
   

   输出内容类似如下：

   +-----------------------------------------------------------------------------+
   | NVIDIA-SMI 525.125.06   Driver Version: 525.125.06   CUDA Version: 12.0     |
   |-------------------------------+----------------------+----------------------+
   | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
   | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
   |                               |                      |               MIG M. |
   |===============================+======================+======================|
   |   0  NVIDIA H100 80G...  Off  | 00000000:04:00.0 Off |                   On |
   | N/A   33C    P0    70W / 700W |     39MiB / 81559MiB |     N/A      Default |
   |                               |                      |              Enabled |
   +-------------------------------+----------------------+----------------------+
   |   1  NVIDIA H100 80G...  Off  | 00000000:05:00.0 Off |                   On |
   | N/A   32C    P0    69W / 700W |     39MiB / 81559MiB |     N/A      Default |
   |                               |                      |              Enabled |
   +-------------------------------+----------------------+----------------------+
   ......
   
   +-----------------------------------------------------------------------------+
   | MIG devices:                                                                |
   +------------------+----------------------+-----------+-----------------------+
   | GPU  GI  CI  MIG |         Memory-Usage |        Vol|         Shared        |
   |      ID  ID  Dev |           BAR1-Usage | SM     Unc| CE  ENC  DEC  OFA  JPG|
   |                  |                      |        ECC|                       |
   |==================+======================+===========+=======================|
   |  0    1   0   0  |     19MiB / 40192MiB | 60      0 |  3   0    3    0    3 |
   |                  |      0MiB / 65535MiB |           |                       |
   +------------------+----------------------+-----------+-----------------------+
   |  0    2   0   1  |     19MiB / 40192MiB | 60      0 |  3   0    3    0    3 |
   |                  |      0MiB / 65535MiB |           |                       |
   +------------------+----------------------+-----------+-----------------------+
   ......
   
   +-----------------------------------------------------------------------------+
   | Processes:                                                                  |
   |  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
   |        ID   ID                                                   Usage      |
   |=============================================================================|
   |  No running processes found                                                 |
   +-----------------------------------------------------------------------------+
   

后续步骤

• 详细了解 GPU 平台。
• 将本地 SSD 添加到实例。 如果您的应用需要高性能存储空间，本地 SSD 设备和 GPU 是绝佳拍档。
• 安装 GPU 驱动程序。
• 如果您启用了 NVIDIA RTX 虚拟工作站，请为虚拟工作站安装驱动程序。
• 如需处理 GPU 主机维护，请参阅处理 GPU 主机维护事件。