Desarrolla una aplicación en el clúster de Ray en Vertex AI

Puedes conectarte a un clúster de Ray en Vertex AI y desarrollar una aplicación con los siguientes métodos:

• Conéctate al clúster de Ray en Vertex AI a través del cliente de Ray con la versión del SDK de Vertex AI para Python que incluye la funcionalidad del cliente de Ray. Usa esta opción si prefieres un entorno de desarrollo interactivo de Python.

  • Usa el SDK de Vertex AI para Python dentro del notebook de Colab Enterprise en la consola de Google Cloud.

  • Usa el SDK de Vertex AI para Python dentro de una sesión de Python, una shell o un notebook de Jupyter.

• Escribe una secuencia de comandos de Python y envía la secuencia de comandos al clúster de Ray en Vertex AI mediante la API de trabajos de Ray. Usa esta opción si prefieres enviar trabajos de manera programática.

Conéctate a un clúster de Ray a través de Ray Client

Para usar el cliente interactivo de Ray, conéctate a tu clúster de Ray en Vertex AI. La red del entorno de conexión depende de la configuración de la red del clúster. No hay restricciones en el entorno de conexión, siempre que el clúster tenga acceso público a Internet. Es decir, no se especificó una red de VPC durante la creación del clúster. Sin embargo, si el clúster está en una red de VPC privada que intercambia tráfico con Vertex AI, el entorno de conexión debe estar en la misma red de VPC que el clúster.

La versión de Ray del cliente debe coincidir con la versión de Ray del clúster. pip install "google-cloud-aiplatform[ray]" instala la versión 2.33 de Ray en el lado del cliente de forma predeterminada. Si la versión de Ray del clúster es 2.9, debes usar pip install ray==2.9.3 para que coincida la versión de Ray del cliente con la versión de Ray del clúster.

import ray

# Necessary even if aiplatform.* symbol is not directly used in your program.
from google.cloud import aiplatform
import vertex_ray

import vertexai
vertexai.init()
# The CLUSTER_RESOURCE_NAME is the one returned from vertex_ray.create_ray_cluster.
CLUSTER_RESOURCE_NAME='projects/{}/locations/{}/persistentResources/{}'.format(PROJECT_ID, LOCATION, CLUSTER_NAME)

ray.init('vertex_ray://{}'.format(CLUSTER_RESOURCE_NAME))

Python version:  3.10.12
Ray version: 2.33
Vertex SDK version: 1.46.0
Dashboard: xxxx-dot-us-central1.aiplatform-training.googleusercontent.com

@ray.remote
def square(x):
  print(x)
  return x * x

# Launch four parallel square tasks.
futures = [square.remote(i) for i in range(4)]

print(ray.get(futures))
# Returns [0, 1, 4, 9]

Desarrolla una aplicación con la API de Ray Jobs

En esta sección, se describe cómo enviar un programa de Python al clúster de Ray en Vertex AI mediante la API de Ray Jobs.

Escribe una secuencia de comandos de Python

Desarrolla tu aplicación como una secuencia de comandos de Python en cualquier editor de texto. Por ejemplo, coloca la siguiente secuencia de comandos en un archivo my_script.py:

import ray
import time

@ray.remote
def hello_world():
    return "hello world"

@ray.remote
def square(x):
    print(x)
    time.sleep(100)
    return x * x

ray.init()  # No need to specify address="vertex_ray://...."
print(ray.get(hello_world.remote()))
print(ray.get([square.remote(i) for i in range(4)]))

Envía un trabajo de Ray con la API de Ray Jobs

Puedes enviar un trabajo de Ray con Python, la CLI de Ray Jobs o la dirección pública del panel de Ray.

import ray
import vertex_ray
from ray.job_submission import JobSubmissionClient
from google.cloud import aiplatform  # Necessary even if aiplatform.* symbol is not directly used in your program.

CLUSTER_RESOURCE_NAME='projects/{}/locations/REGION/persistentResources/{}'.format(PROJECT_ID, CLUSTER_NAME)

client = JobSubmissionClient("vertex_ray://{}".format(CLUSTER_RESOURCE_NAME))

job_id = client.submit_job(
  # Entrypoint shell command to execute
  entrypoint="python my_script.py",
  # Path to the local directory that contains the my_script.py file.
  runtime_env={
    "working_dir": "./directory-containing-my-script",
    "pip": ["numpy",
            "setuptools<70.0.0",
            "xgboost",
            "ray==CLUSTER_RAY_VERSION", # pin the Ray version to the same version as the cluster
           ]
  }
)

# Ensure that the Ray job has been created.
print(job_id)

from ray.job_submission import JobSubmissionClient
import vertex_ray

DASHBOARD_ADDRESS=DASHBOARD_ADDRESS

client = JobSubmissionClient(
  "vertex_ray://{}".format(DASHBOARD_ADDRESS),
)

job_id = client.submit_job(
  # Entrypoint shell command to execute
  entrypoint="python my_script.py",
  # Path to the local directory that contains the my_script.py file
  runtime_env={
    "working_dir": "./directory-containing-my-script",
    "pip": ["numpy",
            "setuptools<70.0.0",
            "xgboost",
            "ray==CLUSTER_RAY_VERSION", # pin the Ray version to the same version as the cluster
           ]
  }
)
print(job_id)

$ ray job submit --working-dir ./ --address vertex_ray://{CLUSTER_RESOURCE_NAME} -- python my_script.py

Después de enviar un trabajo de Ray de larga duración, si deseas supervisar el estado de tu trabajo con client.get_job_status(job_id), es posible que debas volver a crear una instancia de JobSubmissionClient(client = JobSubmissionClient("vertex_ray://{}".format(CLUSTER_RESOURCE_NAME)) ) para actualizar el token de autenticación.

Compatibilidad con el intercambio de tráfico de VPC y la cuenta de servicio personalizada

Ray en Vertex AI admite la API de Ray Client y Ray Jobs (JobSubmissionClient) en una red pública para el agente de servicio predeterminado y las cuentas de servicio personalizadas.

La compatibilidad de Ray en Vertex AI con el intercambio de tráfico de VPC, cuando el clúster de Ray se crea con la red de VPC, se muestra en esta tabla:

Los Controles del servicio de VPC (VPC-SC) requieren configuraciones adicionales. Consulta Conectividad privada y pública para obtener más información.

Usa el sistema de archivos de red (NFS) en tu código de Ray

Si configuras una activación de NFS cuando creas el clúster de Ray, puedes leer y escribir esos volúmenes de NFS en el código de tu aplicación.

RayClient

En esta sección, se muestra cómo usar el sistema de archivos de red (NFS) en tu código de Ray.

1. Inicializa RayClient en un entorno de Python

   import ray
   from google.cloud import aiplatform
   import vertex_ray
   aiplatform.init(project=PROJECT_ID, location=REGION)
   ray.init(address='vertex_ray://projects/{}/locations/us-central1/persistentResources/{}'.format(PROJECT_NUMBER, PERSISTENT_RESOURCE_ID))

2. Ejecuta la secuencia de comandos de trabajo

   import ray
   import logging
   import os
   import sys
   
   @ray.remote
   def main():
   logging.info("list all files in mounted folder")
   return os.listdir("/mnt/nfs/test")
   
   print(''.join(ray.get(main.remote())))

Puedes enviar un trabajo de Ray con Python, la CLI de Ray Jobs o la dirección pública del panel de Ray. Para obtener más información, consulta Desarrolla una aplicación en el clúster de Ray en Vertex AI.

¿Qué sigue?

• Usa Ray en Vertex AI con BigQuery

• Implementa un modelo en Vertex AI y obtén predicciones

• Visualiza registros de tu clúster de Ray en Vertex AI

• Borra un clúster de Ray