批量创建 GPU 虚拟机组

gcloud

如需创建虚拟机组，请使用 gcloud compute instances bulk create 命令。如需详细了解相关参数以及如何使用此命令，请参阅批量创建虚拟机。

示例命令中显示了以下可选标志：

• --provisioning-model=SPOT 是一个可选标志，用于将虚拟机配置为 Spot 虚拟机。如果您的工作负载具有容错能力，并且可以承受可能的虚拟机抢占，请考虑使用 Spot 虚拟机来降低虚拟机和挂接的 GPU 的费用。如需了解详情，请参阅 Spot 虚拟机上的 GPU。对于 Spot 虚拟机，自动重启和主机维护选项标志处于停用状态。

• --accelerator 标志，用于指定虚拟工作站。只有 G2 虚拟机支持 NVIDIA RTX 虚拟工作站 (vWS)。

示例

此示例使用以下规范创建两个挂接 GPU 的虚拟机：

• 虚拟机名称：my-test-vm-1、my-test-vm-2
• 每个虚拟机都挂接了两个 GPU，使用相应的加速器优化机器类型指定

gcloud compute instances bulk create \
    --name-pattern="my-test-vm-#" \
    --region=REGION \
    --count=2 \
    --machine-type=MACHINE_TYPE \
    --boot-disk-size=200 \
    --image=IMAGE \
    --image-project=IMAGE_PROJECT \
    --on-host-maintenance=TERMINATE \
    [--provisioning-model=SPOT] \
    [--accelerator=type=nvidia-l4-vws,count=VWS_ACCELERATOR_COUNT]

替换以下内容：

• REGION：虚拟机的区域。此区域必须支持您选择的 GPU 型号。

• MACHINE_TYPE：您选择的机器类型。从下列选项中选择一项：

  • A3 机器类型。
  • A2 机器类型。
  • G2 机器类型。G2 机器类型还支持自定义内存。内存必须是 1024 MB 的倍数且在支持的内存范围内。例如，如需创建具有 4 个 vCPU 和 19 GB 内存的虚拟机，请指定 --machine-type=g2-custom-4-19456。

• IMAGE：支持 GPU 的操作系统映像。

  如果要使用映像系列中的最新映像，请将 --image 标志替换为 --image-family 标志，并将其值设置为支持 GPU 的映像系列。例如：--image-family=rocky-linux-8-optimized-gcp。

  您也可以指定自定义映像或 Deep Learning VM Image 映像。

• IMAGE_PROJECT：操作系统映像所属的 Compute Engine 映像项目。如果使用自定义映像或 Deep Learning VM Image 映像，请指定这些映像所属的项目。

• VWS_ACCELERATOR_COUNT：您需要的虚拟 GPU 数量。

如果操作成功，则输出类似如下内容：

NAME          ZONE
my-test-vm-1  us-central1-b
my-test-vm-2  us-central1-b
Bulk create request finished with status message: [VM instances created: 2, failed: 0.]

REST

使用带有必需参数的 instances.bulkInsert 方法可在一个可用区中创建多个虚拟机。 如需详细了解相关参数以及如何使用此命令，请参阅批量创建虚拟机。

示例

此示例使用以下规范创建两个挂接 GPU 的虚拟机：

• 虚拟机名称：my-test-vm-1、my-test-vm-2

• 每个虚拟机都挂接了两个 GPU，使用相应的加速器优化机器类型指定

  POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instances/bulkInsert
  {
  "namePattern":"my-test-vm-#",
  "count":"2",
  "instanceProperties": {
    "machineType":MACHINE_TYPE,
    "disks":[
      {
        "type":"PERSISTENT",
        "initializeParams":{
          "diskSizeGb":"200",
          "sourceImage":SOURCE_IMAGE_URI
        },
        "boot":true
      }
    ],
    "name": "default",
    "networkInterfaces":
    [
      {
        "network": "projects/PROJECT_ID/global/networks/default"
      }
    ],
    "scheduling":{
      "onHostMaintenance":"TERMINATE",
      ["automaticRestart":true]
    }
  }
  }
  

替换以下内容：

• PROJECT_ID：您的项目 ID
• REGION：虚拟机的区域。此区域必须支持您选择的 GPU 型号。

• MACHINE_TYPE：您选择的机器类型。从下列选项中选择一项：

  • A2 机器类型。
  • G2 机器类型。G2 机器类型还支持自定义内存。内存必须是 1024 MB 的倍数且在支持的内存范围内。例如，如需创建具有 4 个 vCPU 和 19 GB 内存的虚拟机，请指定 --machine-type=g2-custom-4-19456。

• SOURCE_IMAGE_URI：您要使用的特定映像或映像系列的 URI。

  例如：

  • 特定映像："sourceImage": "projects/rocky-linux-cloud/global/images/rocky-linux-8-optimized-gcp-v20220719"
  • 映像系列："sourceImage": "projects/rocky-linux-cloud/global/images/family/rocky-linux-8-optimized-gcp"

  指定映像系列时，Compute Engine 会根据该系列中最新的未弃用操作系统映像创建虚拟机。如需详细了解何时使用映像系列，请参阅映像系列最佳实践。

其他设置：

• 如果您的工作负载具有容错能力，并且可以承受可能的虚拟机抢占，请考虑使用 Spot 虚拟机来降低虚拟机和挂接的 GPU 的费用。如需了解详情，请参阅 Spot 虚拟机上的 GPU。如需使用 Spot 虚拟机，请在请求中添加 "provisioningModel": "SPOT 选项。对于 Spot 虚拟机，自动重启和主机维护选项标志处于停用状态。

  "scheduling":
    {
      "provisioningModel": "SPOT"
    }
  

• 对于 G2 虚拟机，支持 NVIDIA RTX 虚拟工作站 (vWS)。如需指定虚拟工作站，请在请求中添加 guestAccelerators 选项。将 VWS_ACCELERATOR_COUNT 替换为您需要的虚拟 GPU 数量。

  "guestAccelerators":
   [
     {
       "acceleratorCount": VWS_ACCELERATOR_COUNT,
       "acceleratorType": "projects/PROJECT_ID/zones/ZONEacceleratorTypes/nvidia-l4-vws"
     }
   ]
  

A3 虚拟机

以下限制适用于使用 A3 High 和 A3 Mega 机器类型的虚拟机：

• 使用 A3 机器类型的虚拟机不会获得持续使用折扣和灵活承诺使用折扣。
• 只能在部分区域和可用区中使用 A3 机器类型。
• 不能在使用 A3 机器类型的虚拟机上使用区域级永久性磁盘。
• A3 机器类型仅在 Sapphire Rapids 平台上提供。
• 如果虚拟机使用 A3 机器类型，则不能更改机器类型。如果需要更改机器类型，必须创建新的虚拟机。
• 不能将虚拟机的机器类型更改为 A3 机器类型。如果需要使用 A3 机器类型的虚拟机，必须创建新的虚拟机。
• A3 机器类型不支持单租户。
• 不能在 A3 机器类型上运行 Windows 操作系统。
• 您只能通过特定预留来预留 A3 机器类型。

A2 标准虚拟机

• 使用 A2 标准机器类型的虚拟机不会获得持续使用折扣和灵活承诺使用折扣。
• 只能在某些区域和可用区中使用 A2 标准机器类型。
• 不能在使用 A2 标准机器类型的虚拟机上使用区域级永久性磁盘。
• A2 标准机器类型仅在 Cascade Lake 平台上提供。
• 如果您的虚拟机使用 A2 标准机器类型，您只能从一种 A2 标准机器类型切换到另一种 A2 标准机器类型。您无法切换到任何其他机器类型。如需了解详情，请参阅修改加速器优化虚拟机。
• 不能将 Windows 操作系统与 <codea2-megagpu-16g< code="" dir="ltr" translate="no"> A2 标准机器类型搭配使用。 使用 Windows 操作系统时，请选择其他 A2 标准机器类型。</codea2-megagpu-16g<>
• 不能在使用 A2 标准机器类型的 Windows 虚拟机上快速格式化挂接的本地 SSD。如需设置这些本地 SSD 的格式，您必须使用 diskpart 实用程序并指定 format fs=ntfs label=tmpfs 设置，以进行完整格式化。
• A2 标准机器类型不支持单租户。

A2 Ultra 虚拟机

• 使用 A2 Ultra 机器类型的虚拟机不会获得持续使用折扣和灵活承诺使用折扣。
• 只能在部分区域和可用区中使用 A2 Ultra 机器类型。
• 不能在使用 A2 Ultra 机器类型的虚拟机上使用区域级永久性磁盘。
• A2 Ultra 机器类型仅在 Cascade Lake 平台上提供。
• 如果虚拟机使用 A2 Ultra 机器类型，则不能更改机器类型。如果您需要使用其他 A2 Ultra 机器类型或任何其他机器类型，则必须创建新虚拟机。
• 不能将任何其他机器类型更改为 A2 Ultra 机器类型。如果您需要使用 A2 Ultra 机器类型的虚拟机，则必须创建新虚拟机。
• 不能在使用 A2 Ultra 机器类型的 Windows 虚拟机上快速格式化挂接的本地固态硬盘。如需设置这些本地 SSD 的格式，您必须使用 diskpart 实用程序并指定 format fs=ntfs label=tmpfs 设置，以进行完整格式化。

G2 虚拟机

• 使用 G2 机器类型的虚拟机不会获得持续使用折扣和灵活承诺使用折扣。
• 只能在某些区域和可用区中使用 G2 机器类型。
• 不能在使用 G2 机器类型的虚拟机上使用区域级永久性磁盘。
• G2 机器类型仅在 Cascade Lake 平台上提供。
• 使用 G2 标准机器类型的虚拟机不支持标准永久性磁盘 (pd-standard)。如需了解支持的磁盘类型，请参阅 G2 支持的磁盘类型。
• 不能在 G2 机器类型上创建多实例 GPU。
• 如果您需要更改 G2 虚拟机的机器类型，请查看修改加速器优化虚拟机。
• 不能将 Deep Learning VM Image 映像用作使用 G2 机器类型的虚拟机的启动磁盘。
• Container-Optimized OS 的当前默认驱动程序不支持在 G2 机器类型上运行的 L4 GPU。Container-Optimized OS 也仅支持一组特定的驱动程序。如需在 G2 机器类型上使用 Container-Optimized OS，请查看以下说明：
  • 使用支持推荐的最低 NVIDIA 驱动程序版本 525.60.13 或更高版本的 Container-Optimized OS 版本。如需了解详情，请查看 Container-Optimized OS 版本说明。
  • 在安装驱动程序时，请指定适用于 L4 GPU 的最新可用版本。 例如 sudo cos-extensions install gpu -- -version=525.60.13。
• 在以下情况下，您必须使用 Google Cloud CLI 或 REST 创建 G2 虚拟机：
  • 您想要指定自定义内存值。
  • 您想要自定义可见 CPU 核心数。

gcloud

如需创建虚拟机组，请使用 gcloud compute instances bulk create 命令。如需详细了解相关参数以及如何使用此命令，请参阅批量创建虚拟机。

示例

以下示例会使用以下规范创建两个挂接 GPU 的虚拟机：

• 虚拟机名称：my-test-vm-1、my-test-vm-2
• 在 us-central1 内支持 GPU 的任何地区中创建的虚拟机
• 每个虚拟机都挂接了两个 T4 GPU，并指定了相应的加速器类型和加速器数量标志
• 每个虚拟机都安装了 GPU 驱动程序
• 每个虚拟机都使用 Deep Learning VM Image 映像 pytorch-latest-gpu-v20211028-debian-10

gcloud compute instances bulk create \
    --name-pattern="my-test-vm-#" \
    --count=2 \
    --region=us-central1 \
    --machine-type=n1-standard-2 \
    --accelerator type=nvidia-tesla-t4,count=2 \
    --boot-disk-size=200 \
    --metadata="install-nvidia-driver=True" \
    --scopes="https://www.googleapis.com/auth/cloud-platform" \
    --image=pytorch-latest-gpu-v20211028-debian-10 \
    --image-project=deeplearning-platform-release \
    --on-host-maintenance=TERMINATE --restart-on-failure

如果操作成功，则输出类似如下内容：

NAME          ZONE
my-test-vm-1  us-central1-b
my-test-vm-2  us-central1-b
Bulk create request finished with status message: [VM instances created: 2, failed: 0.]

REST

使用带有必需参数的 instances.bulkInsert 方法可在一个可用区中创建多个虚拟机。 如需详细了解相关参数以及如何使用此命令，请参阅批量创建虚拟机。

示例

以下示例会使用以下规范创建两个挂接 GPU 的虚拟机：

• 虚拟机名称：my-test-vm-1、my-test-vm-2
• 在 us-central1 内支持 GPU 的任何地区中创建的虚拟机
• 每个虚拟机都挂接了两个 T4 GPU，并指定了相应的加速器类型和加速器数量标志
• 每个虚拟机都安装了 GPU 驱动程序
• 每个虚拟机都使用 Deep Learning VM Image 映像 pytorch-latest-gpu-v20211028-debian-10

将 PROJECT_ID 替换为您的项目 ID。

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/region/us-central1/instances/bulkInsert

{
    "namePattern":"my-test-vm-#",
    "count":"2",
    "instanceProperties": {
      "machineType":"n1-standard-2",
      "disks":[
        {
          "type":"PERSISTENT",
          "initializeParams":{
            "diskSizeGb":"200",
            "sourceImage":"projects/deeplearning-platform-release/global/images/pytorch-latest-gpu-v20211028-debian-10"
          },
          "boot":true
        }
      ],
      "name": "default",
      "networkInterfaces":
      [
        {
          "network": "projects/PROJECT_ID/global/networks/default"
        }
      ],
      "guestAccelerators":
      [
        {
          "acceleratorCount": 2,
          "acceleratorType": "nvidia-tesla-t4"
        }
      ],
      "scheduling":{
        "onHostMaintenance":"TERMINATE",
        "automaticRestart":true
      },
      "metadata":{
        "items":[
          {
            "key":"install-nvidia-driver",
            "value":"True"
          }
        ]
      }
  }
 }