创建 Ray on Vertex AI 集群

本文档提供了有关如何在 Vertex AI 上设置 Ray 集群以满足各种需求的说明。例如，如需构建您自己的映像，请参阅自定义映像。某些企业可以使用专用网络。本文档介绍了 Ray on Vertex AI 的 Private Service Connect 接口。另一个应用场景是像访问本地文件一样访问远程文件（请参阅 Ray on Vertex AI 网络文件系统）。

概览

本文介绍的主题包括：

• 在 Vertex AI 上创建 Ray 集群
• 管理 Ray 集群的生命周期
• 创建自定义映像
• 设置专用连接和公共连接 (VPC)
• 将 Private Service Connect 接口用于 Ray on Vertex AI
• 设置 Ray on Vertex AI 网络文件系统 (NFS)
• 设置使用 VPC-SC + VPC 对等互连的 Ray 信息中心和交互式 Shell

创建 Ray 集群

您可以使用 Google Cloud 控制台或 Vertex AI SDK for Python 创建 Ray 集群。一个集群最多可以有 2,000 个节点。一个工作器池中的节点数上限为 1,000。虽然工作器池的数量没有限制，但如果有大量工作器池（例如，有 1,000 个工作器池，每个工作器池有一个节点），可能会对集群性能产生负面影响。

在开始之前，请务必阅读 Ray on Vertex AI 概览并设置您需要的所有必要工具。

Vertex AI 上的 Ray 集群在您创建后可能需要 10-20 分钟才能启动。

import ray
import vertex_ray
from google.cloud import aiplatform
from vertex_ray import Resources
from vertex_ray.util.resources import NfsMount

# Define a default CPU cluster, machine_type is n1-standard-16, 1 head node and 1 worker node
head_node_type = Resources()
worker_node_types = [Resources()]

# Or define a GPU cluster.
head_node_type = Resources(
  machine_type="n1-standard-16",
  node_count=1,
  custom_image="us-docker.pkg.dev/my-project/ray-custom.2-9.py310:latest",  # Optional. When not specified, a prebuilt image is used.
)

worker_node_types = [Resources(
  machine_type="n1-standard-16",
  node_count=2,  # Must be >= 1
  accelerator_type="NVIDIA_TESLA_T4",
  accelerator_count=1,
  custom_image="us-docker.pkg.dev/my-project/ray-custom.2-9.py310:latest",  # When not specified, a prebuilt image is used.
)]
# Optional. Create cluster with Network File System (NFS) setup.
nfs_mount = NfsMount(
    server="10.10.10.10",
    path="nfs_path",
    mount_point="nfs_mount_point",
)
aiplatform.init()
# Initialize Vertex AI to retrieve projects for downstream operations.
# Create the Ray cluster on Vertex AI
CLUSTER_RESOURCE_NAME = vertex_ray.create_ray_cluster(
  head_node_type=head_node_type,
  network=NETWORK, #Optional
  worker_node_types=worker_node_types,
  python_version="3.10",  # Optional
  ray_version="2.47",  # Optional
  cluster_name=CLUSTER_NAME, # Optional
  service_account=SERVICE_ACCOUNT,  # Optional
  enable_metrics_collection=True,  # Optional. Enable metrics collection for monitoring.
  labels=LABELS,  # Optional.
  nfs_mounts=[nfs_mount],  # Optional.

)

[Ray on Vertex AI]: Cluster State = State.PROVISIONING
Waiting for cluster provisioning; attempt 1; sleeping for 0:02:30 seconds
...
[Ray on Vertex AI]: Cluster State = State.RUNNING

生命周期管理

在 Vertex AI 上的 Ray 集群的生命周期内，每个操作都与一个状态相关联。下表总结了各个状态的结算状态和管理选项。 参考文档提供了每种状态的定义。

自定义映像（可选）

预构建映像适用于大多数应用场景。如果您想构建自己的映像，请使用 Ray on Vertex AI 预构建映像作为基础映像。如需了解如何根据基础映像构建自己的映像，请参阅 Docker 文档。

这些基础映像包含 Python、Ubuntu 和 Ray 的安装。 它们还包含以下依赖项，例如：

• python-json-logger
• google-cloud-resource-manager
• ca-certificates-java
• libatlas-base-dev
• liblapack-dev
• g++、libio-all-perl
• libyaml-0-2。

专用连接和公共连接

默认情况下，Ray on Vertex AI 会创建一个安全的公共端点，以便在 Vertex AI 上的 Ray 集群中使用 Ray 客户端进行交互式开发。在开发或临时应用场景中使用公共连接。此公共端点可通过互联网访问。只有在 Ray 集群的用户项目中至少拥有 Vertex AI 用户角色权限的授权用户才能访问集群。

如果您需要与集群建立专用连接，或者如果您使用的是 VPC Service Controls，则 Vertex AI 上的 Ray 集群支持 VPC 对等互连。只有从与 Vertex AI 对等互连的 VPC 网络中的客户端才能访问具有专用端点的集群。

如需使用 VPC 对等互连为 Ray on Vertex AI 设置专用连接，请在创建集群时选择 VPC 网络。VPC 网络需要在您的 VPC 网络和 Vertex AI 之间建立专用服务连接。如果您要在控制台中使用 Ray on Vertex AI，则可以在创建集群时设置专用服务访问通道连接。

如果您想将 VPC Service Controls 和 VPC 对等互连与 Vertex AI 上的 Ray 集群搭配使用，则需要进行额外的设置才能使用 Ray 信息中心和交互式 Shell。按照使用 VPC-SC + VPC 对等互连的 Ray 信息中心和交互式 Shell 中的说明，在您的用户项目中使用 VPC-SC 和 VPC 对等互连配置交互式 Shell 设置。

在 Vertex AI 上创建 Ray 集群后，您可以使用 Vertex AI SDK for Python 连接到头节点。连接环境（例如 Compute Engine 虚拟机或 Vertex AI Workbench 实例）必须位于与 Vertex AI 对等互连的 VPC 网络中。请注意，专用服务连接的 IP 地址数量有限，这可能会导致 IP 地址耗尽。因此，我们建议您为长时间运行的集群使用专用连接。

Ray on Vertex AI 的 Private Service Connect 接口

Vertex AI 上的 Ray 集群支持 Private Service Connect 接口出站和 Private Service Connect 接口入站。

如需使用 Private Service Connect 接口出站，请按照以下说明操作。如果未启用 VPC Service Controls，则使用 Private Service Connect 接口出站的集群会通过 Ray 客户端使用安全的公共端点进行入站。

如果启用了 VPC Service Controls，则 Private Service Connect 接口入站默认与 Private Service Connect 接口出站搭配使用。如需连接到 Ray 客户端，或通过笔记本为使用 Private Service Connect 接口入站的集群提交作业，请确保该笔记本位于用户项目 VPC 和子网中。如需详细了解如何设置 VPC Service Controls，请参阅将 VPC Service Controls 与 Vertex AI 搭配使用。

启用 Private Service Connect 接口

按照设置资源指南设置 Private Service Connect 接口。设置资源后，您就可以在 Vertex AI 上的 Ray 集群上启用 Private Service Connect 接口了。

from google.cloud import aiplatform
import vertex_ray

# Initialization
aiplatform.init()

# Create a default cluster with network attachment configuration

psc_config = vertex_ray.PscIConfig(network_attachment=NETWORK_ATTACHMENT_NAME)
cluster_resource_name = vertex_ray.create_ray_cluster(
   psc_interface_config=psc_config,
)

Ray on Vertex AI 网络文件系统 (NFS)

如需让集群可以访问远程文件，请装载网络文件系统 (NFS) 共享。然后，您的作业可以像访问本地文件那样访问远程文件，从而实现高吞吐量和短延时。

VPC 设置

您可以通过以下两种方式设置 VPC：

1. 创建 Private Service Connect 接口网络连接。（推荐）
2. 设置 VPC 网络对等互连。

设置 NFS 实例

如需详细了解如何创建 Filestore 实例，请参阅创建实例。如果您使用的是 Private Service Connect 接口方法，则无需在创建 Filestore 时选择专用服务访问通道模式。

使用网络文件系统 (NFS)

如需使用网络文件系统，请指定网络或网络连接（推荐）。

使用 VPC-SC + VPC 对等互连的 Ray 信息中心和交互式 Shell

1. 配置 peered-dns-domains。

   {
     VPC_NAME=NETWORK_NAME
     REGION=LOCATION
     gcloud services peered-dns-domains create training-cloud \
     --network=$VPC_NAME \
     --dns-suffix=$REGION.aiplatform-training.cloud.google.com.
   
     # Verify
     gcloud beta services peered-dns-domains list --network $VPC_NAME;
   }
       

   • NETWORK_NAME：更改为对等互连的网络。

   • LOCATION：所需位置（例如 us-central1）。

2. 配置 DNS managed zone。

   {
     PROJECT_ID=PROJECT_ID
     ZONE_NAME=$PROJECT_ID-aiplatform-training-cloud-google-com
     DNS_NAME=aiplatform-training.cloud.google.com
     DESCRIPTION=aiplatform-training.cloud.google.com
   
     gcloud dns managed-zones create $ZONE_NAME  \
     --visibility=private  \
     --networks=https://www.googleapis.com/compute/v1/projects/$PROJECT_ID/global/networks/$VPC_NAME  \
     --dns-name=$DNS_NAME  \
     --description="Training $DESCRIPTION"
   }
       

   • PROJECT_ID：您的项目 ID。您可以在 Google Cloud 控制台的欢迎页面中找到这些 ID。

3. 记录 DNS 事务。

   {
     gcloud dns record-sets transaction start --zone=$ZONE_NAME
   
     gcloud dns record-sets transaction add \
     --name=$DNS_NAME. \
     --type=A 199.36.153.4 199.36.153.5 199.36.153.6 199.36.153.7 \
     --zone=$ZONE_NAME \
     --ttl=300
   
     gcloud dns record-sets transaction add \
     --name=*.$DNS_NAME. \
     --type=CNAME $DNS_NAME. \
     --zone=$ZONE_NAME \
     --ttl=300
   
     gcloud dns record-sets transaction execute --zone=$ZONE_NAME
   }
       

4. 提交已启用交互式 Shell 和 VPC-SC 以及 VPC 对等互连的训练作业。

后续步骤

• 在 Vertex AI 上开发 Ray 应用