使用 GPU 和灵活启动预配模式运行小型批处理工作负载

如果您的工作负载需要多节点分布式处理，请考虑使用启动时可灵活调整且采用队列化预配。如需了解详情，请参阅使用 Flex-Start 和队列化预配运行大规模工作负载。

本指南适用于机器学习 (ML) 工程师、平台管理员和运维人员，以及对使用 Kubernetes 容器编排功能运行批处理工作负载感兴趣的数据和 AI 专家。如需详细了解我们在 Google Cloud 内容中提及的常见角色和示例任务，请参阅常见的 GKE Enterprise 用户角色和任务。

准备工作

在开始之前，请确保您已执行以下任务：

• 启用 Google Kubernetes Engine API。
启用 Google Kubernetes Engine API
• 如果您要使用 Google Cloud CLI 执行此任务，请安装并初始化 gcloud CLI。 如果您之前安装了 gcloud CLI，请运行 gcloud components update 以获取最新版本。

• 验证您是否拥有运行 1.33.0-gke.1712000 或更高版本的 Autopilot 集群或 Standard 集群。
• 请确保您熟悉 flex-start 的限制。
• 使用标准集群时，请验证您是否至少维护一个未启用灵活启动的节点池，以便集群能够正常运行。
• 验证您在节点位置是否有可抢占型 GPU 配额。

创建使用 flex-start 的节点池

如需在现有 Standard 集群上创建启用了 Flex Start 的节点池，您可以使用 gcloud CLI 或 Terraform。

如果您使用的是 Autopilot 模式集群，请跳过本部分，前往运行批处理工作负载部分。

```hcl
resource "google_container_node_pool" " "gpu_dws_pool" {
name = "gpu-dws-pool"

queued_provisioning {
    enabled = false
}

}
node_config {
    machine_type = "a3-highgpu-8g"
    flex_start = true
}
```

运行批量工作负载

1. 在 Google Cloud 控制台中，点击 激活 Cloud Shell 以启动 Cloud Shell 会话。 Google Cloud 控制台的底部窗格中会打开一个会话。

2. 创建一个名为 dws-flex-start.yaml 的文件：

   apiVersion: batch/v1
   kind: Job
   metadata:
     name: job-1
   spec:
     template:
       spec:
         nodeSelector:
           cloud.google.com/gke-flex-start: "true"
         containers:
         - name: container-1
           image: gcr.io/k8s-staging-perf-tests/sleep:latest
           args: ["10s"] # Sleep for 10 seconds
           resources:
             requests:
                 nvidia.com/gpu: 1
             limits:
                 nvidia.com/gpu: 1
         restartPolicy: OnFailure
   ---
   apiVersion: batch/v1
   kind: Job
   metadata:
     name: job-2
   spec:
     template:
       spec:
         nodeSelector:
           cloud.google.com/gke-flex-start: "true"
         containers:
         - name: container-2
           image: gcr.io/k8s-staging-perf-tests/sleep:latest
           args: ["10s"] # Sleep for 10 seconds
           resources:
             requests:
                 nvidia.com/gpu: 1
             limits:
                 nvidia.com/gpu: 1
         restartPolicy: OnFailure
   

3. 应用 dws-flex-start.yaml 清单：

   kubectl apply -f dws-flex-start.yaml
   

4. 验证作业是否在同一节点上运行：

   kubectl get pods -l "job-name in (job-1,job-2)" -o wide
   

   输出类似于以下内容：

   NAME    READY   STATUS      RESTARTS   AGE   IP       NODE               NOMINATED NODE   READINESS GATES
   job-1   0/1     Completed   0          19m   10.(...) gke-flex-zonal-a2  <none>           <none>
   job-2   0/1     Completed   0          19m   10.(...) gke-flex-zonal-a2  <none>           <none>
   

清理

为避免因您在此页面上使用的资源导致您的 Google Cloud 账号产生费用，请删除包含这些资源的项目，或者保留该项目但删除各个资源。

删除项目

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

逐个删除资源

1. 删除作业：

   kubectl delete job -l "job-name in (job-1,job-2)"
   

2. 删除节点池：

   gcloud container node-pools delete NODE_POOL_NAME \
         --location LOCATION_NAME
   

3. 删除集群：

   gcloud container clusters delete CLUSTER_NAME
   

后续步骤

• 详细了解 GKE 中的 GPU。
• 详细了解节点自动预配。
• 详细了解在 GKE 上运行批处理工作负载的最佳实践。