使用预配置的 Google Kubernetes Engine YAML 文件来优化 Cloud Storage FUSE 性能

本页面提供了预配置的 Google Kubernetes Engine YAML 文件,可帮助您针对特定工作负载优化 Cloud Storage FUSE 性能。无论您是使用 Cloud GPU 还是 Cloud TPU 进行训练、提供服务或设置检查点,都可以使用本页面中提供的示例配置快速部署 GKE pod 并访问 Cloud Storage 存储桶。

使用示例 YAML 文件配置和部署使用 Cloud Storage FUSE 的 GKE 工作负载

如需使用示例配置,请执行以下步骤:

  1. 验证适用于 Google Kubernetes Engine 的 Cloud Storage FUSE CSI 驱动程序是否在 GKE 版本为 1.32.2-gke.1297001 或更高版本的 GKE 集群上运行。

  2. 验证 Google Kubernetes Engine 服务账号是否拥有访问目标 Cloud Storage 存储桶所需的权限。

  3. 使用以下任一 YAML 文件,根据您的机器类型和工作负载找到要应用的示例配置:

    GPU

    根据工作负载类型,使用以下特定于 Cloud GPU 的 YAML 文件之一:

    TPU

    根据您的工作负载类型,使用以下某个特定于 Cloud TPU 的 YAML 文件:

  4. 使用以下 YAML 文件之一部署可访问 PersistentVolumeClaim 的相应 pod 规范:

    GPU

    根据您的工作负载类型,部署相应的 Cloud GPU 特有 Pod 规范,以访问 PersistentVolumeClaim:

    TPU

    根据您的工作负载类型,部署可访问 PersistentVolumeClaim 的相应 Cloud TPU 特定 Pod 规范:

  5. 通过应用 PersistentVolume 文件来部署 PersistentVolume 和 PersistentVolumeClaim。

    GKE Pod 准入 Webhook 会检查 PersistentVolume 的属性,以应用潜在的优化,例如在调度 Pod 之前注入边车容器。

    kubectl apply -f PERSISTENT_VOLUME_YAML_FILE_NAME
    

    其中:

    • PERSISTENT_VOLUME_YAML_FILE_NAME 是 PersistentVolume YAML 文件的名称。例如 serving-pv.yaml
  6. 部署引用 PersistentVolumeClaim 的 pod 规范:

    kubectl apply -f POD_YAML_FILE_NAME
    

    其中:

    • POD_YAML_FILE_NAME 是 pod YAML 配置文件的名称。例如 serving-pod.yaml

后续步骤