部署工作负载

Spot

如需使用 Spot 预配模型，请创建加速器优化型虚拟机实例。

gcloud compute instances create INSTANCE_NAME \
    --provisioning-model=SPOT \
    --confidential-compute-type=TDX \
    --machine-type=a3-highgpu-1g \
    --maintenance-policy=TERMINATE \
    --shielded-secure-boot \
    --image-project=confidential-space-images \
    --image-family=IMAGE_FAMILY_NAME \
    --metadata="^~^tee-image-reference=us-docker.pkg.dev/WORKLOAD_AUTHOR_PROJECT_ID/REPOSITORY_NAME/WORKLOAD_CONTAINER_NAME:latest~tee-install-gpu-driver=true" \
    --service-account=WORKLOAD_SERVICE_ACCOUNT_NAME@WORKLOAD_OPERATOR_PROJECT_ID.iam.gserviceaccount.com \
    --scopes=cloud-platform \
    --boot-disk-size=30G \
    --zone=ZONE_NAME \
    --project=PROJECT_ID

请提供以下值：

• INSTANCE_NAME：新虚拟机实例的名称。

• IMAGE_FAMILY_NAME：Confidential Space 映像的系列。 请按以下方式之一操作：

  • confidential-space-preview-cgpu 适用于生产工作负载

  • confidential-space-debug-preview-cgpu 用于调试工作负载

• WORKLOAD_AUTHOR_PROJECT：工作负载正在运行的项目 ID。

• REPOSITORY_NAME：Artifact Registry 代码库名称。

• WORKLOAD_CONTAINER_NAME：工作负载容器的名称。

• WORKLOAD_SERVICE_ACCOUNT_NAME：运行工作负载的服务账号的名称。

• WORKLOAD_OPERATOR_PROJECT_ID：运行工作负载的项目的 ID。

• ZONE_NAME：支持 NVIDIA 机密计算（预览版）的可用区之一。

• PROJECT_ID：可选。要在其中创建虚拟机实例的项目的 ID。

灵活启动

如需使用灵活启动（预览版）预配模型，请先创建实例模板，然后再创建托管式实例组 (MIG)。

1. 创建实例模板。

   gcloud beta compute instance-templates create INSTANCE_TEMPLATE_NAME \
       --provisioning-model=FLEX_START \
       --confidential-compute-type=TDX \
       --machine-type=a3-highgpu-1g \
       --maintenance-policy=TERMINATE \
       --shielded-secure-boot \
       --image-project=confidential-space-images \
       --image-family=IMAGE_FAMILY_NAME \
       --metadata="^~^tee-image-reference=us-docker.pkg.dev/WORKLOAD_AUTHOR_PROJECT_ID/REPOSITORY_NAME/WORKLOAD_CONTAINER_NAME:latest~tee-install-gpu-driver=true" \
       --service-account=WORKLOAD_SERVICE_ACCOUNT_NAME@WORKLOAD_OPERATOR_PROJECT_ID.iam.gserviceaccount.com \
       --scopes=cloud-platform \
       --boot-disk-size=30G \
       --reservation-affinity=none \
       --max-run-duration=RUN_DURATION \
       --instance-termination-action=DELETE \
       --project=PROJECT_ID
   

   请提供以下值：

   • INSTANCE_TEMPLATE_NAME：新虚拟机实例模板的名称。

   • IMAGE_FAMILY_NAME：Confidential Space 映像的系列。 请按以下方式之一操作：

     • confidential-space-preview-cgpu 适用于生产工作负载

     • confidential-space-debug-preview-cgpu 用于调试工作负载

   • WORKLOAD_AUTHOR_PROJECT：工作负载正在运行的项目 ID。

   • REPOSITORY_NAME：Artifact Registry 代码库名称。

   • WORKLOAD_CONTAINER_NAME：工作负载容器的名称。

   • WORKLOAD_SERVICE_ACCOUNT_NAME：运行工作负载的服务账号的名称。

   • WORKLOAD_OPERATOR_PROJECT_ID：运行工作负载的项目的 ID。

   • RUN_DURATION：您希望所请求的虚拟机实例运行的时长。您必须将该值格式化为天、小时、分钟或秒数，并分别添加对应的后缀 d、h、m 或 s。例如，指定 30m 表示 30 分钟，或指定 1d2h3m4s 表示 1 天 2 小时 3 分钟 4 秒。该值必须介于 10 分钟到 7 天之间。

   • PROJECT_ID：可选。要在其中创建虚拟机实例的项目的 ID。

2. 使用 instance-groups managed create 命令创建可用区级 MIG：

   gcloud compute instance-groups managed create INSTANCE_GROUP_NAME \
       --template=INSTANCE_TEMPLATE_NAME \
       --size=0 \
       --zone=ZONE_NAME \
       --default-action-on-vm-failure=do_nothing
   

   请提供以下值：

   • INSTANCE_GROUP_NAME：MIG 的名称。

   • INSTANCE_TEMPLATE_NAME：GPU 虚拟机的实例模板的名称。

   • ZONE_NAME：支持 NVIDIA 机密计算（预览版）的可用区之一。

3. 在 MIG 中，创建调整大小请求。指定所需的 GPU 虚拟机实例数量以及运行这些虚拟机实例的时长。

   gcloud compute instance-groups managed resize-requests create INSTANCE_GROUP_NAME \
       --resize-request=RESIZE_REQUEST_NAME \
       --resize-by=COUNT \
       --zone=ZONE_NAME
   

   请提供以下值：

   • INSTANCE_GROUP_NAME：MIG 的名称。

   • INSTANCE_TEMPLATE_NAME：GPU 虚拟机实例的实例模板的名称。

   • ZONE_NAME：支持 NVIDIA 机密计算（预览版）的可用区之一。

   • RESIZE_REQUEST_NAME：调整大小请求的名称。

   • COUNT：要在实例组中一次性添加的虚拟机实例数。

   您创建的调整大小请求会保持 ACCEPTED 状态，直到 MIG 创建了所有请求的 GPU 虚拟机实例。在实例组中创建所有 GPU 虚拟机实例后，请求的状态会更改为 SUCCEEDED。

4. 当有足够的资源可用于调整大小请求时，系统会将虚拟机实例添加到 MIG 并启动这些实例以运行您的工作负载。如需列出 MIG 中存在的实例，请运行以下命令：

   gcloud compute instance-groups managed list-instances INSTANCE_GROUP_NAME \
       --zone=ZONE_NAME \
       --project=PROJECT_ID
   

   请提供以下值：

   • INSTANCE_GROUP_NAME：MIG 的名称。

   • ZONE_NAME：要从中获取虚拟机实例列表的支持的可用区。

   • PROJECT_ID：可选。要从中获取虚拟机实例列表的项目的 ID。