Debes implementar tus recursos personalizados de predicción en el clúster de predicción que crea el operador de infraestructura (IO) para ti. El operador crea cargas de trabajo de predicción en este mismo clúster.
Para crear el clúster de predicción, trabaja con el IO para asociar tu proyecto de predicción y asignar los grupos de nodos necesarios para las predicciones en línea en Google Distributed Cloud (GDC) aislado.
Para crear un clúster de predicción, realiza los siguientes pasos:
Identifica el proyecto de tu organización que deseas asociar con el nuevo clúster para las predicciones en línea.
Para crear un proyecto, consulta Configura un proyecto para Vertex AI. Necesitas el ID del proyecto cuando realices llamadas a la API.
En la lista de tipos de máquinas disponibles en Distributed Cloud, elige el tipo de máquina para los nodos que tus cargas de trabajo necesitan en el clúster.
El tipo de máquina que elijas dependerá del tamaño y la complejidad de tu modelo de predicción, y determinará los recursos de procesamiento y de unidad de procesamiento gráfico (GPU) que tu IO proporciona al clúster. Sigue las recomendaciones para la selección de nodos cuando elijas el tipo de máquina para tus nodos.
Envía un correo electrónico al IO con la plantilla de caso del clúster de predicción para abrir un caso y abordar tu solicitud de crear el clúster.
Si es necesario, comunícate con el IO hasta que termine de crear el clúster de predicción asociado a tu proyecto y de asignar los grupos de nodos adecuados dentro del clúster.
Después de completar el aprovisionamiento del clúster, el clúster de predicción estará listo para las predicciones en línea.
Recomendaciones de selección de nodos
Cuando el IO crea grupos de nodos en un clúster, asigna uno de los tipos de máquinas disponibles en Distributed Cloud para proporcionar un conjunto predefinido de recursos para los nodos trabajadores. Según el tamaño y la complejidad del modelo, necesitarás diferentes rendimientos de procesamiento y, en consecuencia, una cantidad específica de CPU, memoria y GPU. Debes proporcionar estos detalles en tu comunicación con el IO cuando quieras crear un clúster de predicción.
Cuando determines con el IO el tipo de máquina para los grupos de nodos que necesitas en el clúster de predicción, debes seguir las siguientes prácticas:
- Distributed Cloud agrega una sobrecarga de procesamiento a los nodos para los componentes obligatorios del sistema. Por lo tanto, debes elegir un tipo de máquina más grande para tus grupos de nodos que el que piensas usar en el grupo de recursos para tus modelos.
- Elige la solución que proporcione la memoria y los recursos de procesamiento mínimos necesarios para tus requisitos. Por ejemplo, si tu modelo requiere ocho CPU virtuales, elige el tipo de máquina
n2-highcpu-8-gdc, la solución más pequeña con ocho CPU virtuales y 8 GB de memoria en Distributed Cloud. - A medida que avanzas, considera soluciones de mayor rendimiento solo si las soluciones más pequeñas no son adecuadas para tus necesidades y el tamaño y la complejidad del modelo. Es fundamental cumplir con el principio de privilegio mínimo y usar solo los recursos que necesitas para ejecutar tu flujo de trabajo específico. Este enfoque responsable garantiza un uso considerado de los recursos en el entorno de Distributed Cloud.
- Elige solo soluciones que tengan GPUs si las necesitas para tu modelo.
- Si tu modelo requiere GPUs, considera el tipo de máquina
a2-highgpu-1g-gdc, la solución más pequeña que proporciona GPUs.
Plantilla de caso de clúster de predicción
Usa la siguiente plantilla para enviar un correo electrónico a tu IO. El correo electrónico abre un caso para crear el clúster de predicción que necesitas para las predicciones en línea.
Good day,
I need to create a prediction cluster and associate it with a project in my organization to use online predictions.
Please use the following information for the creation of the cluster:
- **Cluster name:** vtx-ai-prediction
- **Name of the organization:** [Specify your organization's name.]
- **Project name:** [Specify the name of your project to associate with the prediction cluster.]
- **Machine type for the node pool:** [Specify the machine type you chose from the list of available machine types for the cluster nodes based on node selection recommendations. Please note that the IO can respond with a different suggestion based on your needs.]
- **Compute resources:** [Optionally, if you know how many compute resources your workloads need, describe them in this field.]
- **Memory resources:** [Optionally, if you know how many memory resources your workloads need, describe them in this field.]
- **GPU resources:** [Optionally, if you know how many GPU resources your workloads need, describe them in this field.]
**Note for IO:** Review the instructions to create the prediction cluster in the following section of the documentation: Operator > Configure the deployment > Create the Prediction cluster
Thank you,
[Your name]