Ray es un framework de código abierto para escalar aplicaciones de IA y Python. Ray proporciona la infraestructura a fin de realizar procesamiento distribuido y procesamiento paralelo para el flujo de trabajo de aprendizaje automático (AA).
Si ya usas Ray, puedes usar el mismo código de Ray de código abierto para escribir programas y desarrollar aplicaciones en Vertex AI con cambios mínimos. Luego, puedes usar las integraciones de Vertex AI en otros servicios de Google Cloud, como las predicciones de Vertex AI y BigQuery, como parte del flujo de trabajo de aprendizaje automático.
Si ya usas Vertex AI y necesitas una forma más sencilla de administrar los recursos de procesamiento, puedes usar el código de Ray para escalar el entrenamiento.
Flujo de trabajo para usar Ray en Vertex AI
Usa Colab Enterprise y el SDK de Vertex AI para Python para conectarte al clúster de Ray.
| Pasos | Descripción |
|---|---|
| 1. Configura para Ray en Vertex AI | Configura tu proyecto de Google, instala la versión del SDK de Vertex AI para Python que incluya la funcionalidad del cliente de Ray y configura una red de intercambio de tráfico de VPC, que es opcional. |
| 2. Crea un clúster de Ray en Vertex AI | Crea un clúster de Ray en Vertex AI. Se requiere el rol de administrador de Vertex AI. |
| 3. Desarrolla una aplicación de Ray en Vertex AI | Conéctate a un clúster de Ray en Vertex AI y desarrolla una aplicación. Se requiere el rol de usuario de Vertex AI. |
| 4. (Opcional) Usa Ray en Vertex AI con BigQuery | Lee, escribe y transforma datos con BigQuery. |
| 5. (Opcional) Implementa un modelo en Vertex AI y obtén predicciones | Implementa un modelo en un extremo en línea de Vertex AI y obtén predicciones. |
| 6. Supervisa tu clúster de Ray en Vertex AI | Supervisa los registros generados en Cloud Logging y las métricas en Cloud Monitoring. |
| 7. Borra un clúster de Ray en Vertex AI | Borra un clúster de Ray en Vertex AI para evitar la facturación innecesaria. |
Descripción general
Los clústeres de Ray están integrados para garantizar la disponibilidad de capacidad para las cargas de trabajo de AA críticas o durante las temporadas de mayor demanda. A diferencia de los trabajos personalizados, en los que el servicio de entrenamiento libera el recurso después de que se completa el trabajo, los clústeres de Ray permanecen disponibles hasta que se borran.
Nota: Usa clústeres de Ray de larga duración en las siguientes situaciones:
- Si envías el mismo trabajo de Ray varias veces y puedes beneficiarte del almacenamiento en caché de datos e imágenes mediante la ejecución de los trabajos en los mismos clústeres de Ray de larga duración.
- Si ejecutas muchos trabajos de Ray de corta duración en los que el tiempo de procesamiento real es más corto que el tiempo de inicio del trabajo, puede ser beneficioso tener un clúster de larga duración.
Los clústeres de Ray en Vertex AI se pueden configurar con conectividad pública o privada. En los siguientes diagramas, se muestra la arquitectura y el flujo de trabajo de Ray en Vertex AI. Consulta Conectividad pública o privada para obtener más información.
Arquitectura con conectividad pública
Crea el clúster de Ray en Vertex AI mediante las siguientes opciones:
a. Usa la consola de Google Cloud para crear el clúster de Ray en Vertex AI.
b. Crea el clúster de Ray en Vertex AI con el SDK de Vertex AI para Python.
Conéctate al clúster de Ray en Vertex AI para el desarrollo interactivo con las siguientes opciones:
a. Usa Colab Enterprise en la consola de Google Cloud para obtener una conexión sin problemas.
b. Usa cualquier entorno de Python al que pueda acceder la Internet pública.
Desarrolla tu aplicación y entrena tu modelo en el clúster de Ray en Vertex AI:
Usa el SDK de Vertex AI para Python en tu entorno preferido (Colab Enterprise o cualquier notebook de Python).
Escribe una secuencia de comandos de Python con tu entorno preferido.
Envía un trabajo de Ray al clúster de Ray en Vertex AI mediante el SDK de Vertex AI para Python, Ray Job CLI o la API de Ray Job Submission.
Implementa el modelo entrenado en un extremo de Vertex AI en línea para realizar predicciones en vivo.
Usa BigQuery para administrar tus datos.
Arquitectura con VPC
En el siguiente diagrama, se muestra la arquitectura y el flujo de trabajo de Ray en Vertex AI después de configurar tu proyecto de Google Cloud y la red de VPC, que es opcional:
Configura tu (a) proyecto de Google y (b) red de VPC.
Crea el clúster de Ray en Vertex AI mediante las siguientes opciones:
a. Usa la consola de Google Cloud para crear el clúster de Ray en Vertex AI.
b. Crea el clúster de Ray en Vertex AI con el SDK de Vertex AI para Python.
Conéctate al clúster de Ray en Vertex AI a través de una red de VPC con intercambio de tráfico mediante las siguientes opciones:
Usa Colab Enterprise en la consola de Google Cloud.
Usa un notebook de Vertex AI Workbench.
Desarrolla tu aplicación y entrena tu modelo en el clúster de Ray en Vertex AI con las siguientes opciones:
Usa el SDK de Vertex AI para Python en tu entorno preferido (Colab Enterprise o un notebook de Vertex AI Workbench).
Escribe una secuencia de comandos de Python con tu entorno preferido. Envía un trabajo de Ray al clúster de Ray en Vertex AI mediante el SDK de Vertex AI para Python, Ray Job CLI o el panel de Ray.
Implementa el modelo entrenado en un extremo de Vertex AI en línea para realizar predicciones.
Usa BigQuery para administrar tus datos.
Precios
Los precios de Ray en Vertex AI se calculan de la siguiente manera:
Los recursos de procesamiento que uses se cobran según la configuración de máquina que selecciones cuando crees tu clúster de Ray en Vertex AI. Para conocer los precios de Ray en Vertex AI, consulta la página de precios.
En el caso de los clústeres de Ray, solo se te cobra durante los estados RUNNING y UPDATING. No se cobran otros estados. El importe que se cobra se basa en el tamaño real del clúster en el momento.
Cuando realizas tareas con el clúster de Ray en Vertex AI, los registros se generan y se cobran de forma automática según los precios de Cloud Logging.
Si implementas tu modelo en un extremo para predicciones en línea, consulta la sección “Predicción y explicación” de la página de precios de Vertex AI.
Si usas BigQuery con Ray en Vertex AI, consulta los precios de BigQuery.