Configurar recursos de computación para la inferencia

Vertex AI asigna nodos para gestionar las inferencias online y por lotes. Cuando despliegas un modelo entrenado personalizado o un modelo de AutoML en un Endpointrecurso para ofrecer inferencias online o cuando solicitas inferencias por lotes, puedes personalizar el tipo de máquina virtual que utiliza el servicio de inferencia para estos nodos. También puedes configurar los nodos de inferencia para que usen GPUs.

Los tipos de máquina se diferencian en varios aspectos:

• Número de CPUs virtuales (vCPUs) por nodo
• Cantidad de memoria por nodo
• Precios

Si seleccionas un tipo de máquina con más recursos de computación, puedes ofrecer inferencias con una latencia más baja o gestionar más solicitudes de inferencia al mismo tiempo.

Gestionar costes y disponibilidad

Para ayudar a gestionar los costes o asegurar la disponibilidad de los recursos de las VMs, Vertex AI ofrece lo siguiente:

• Para asegurarte de que los recursos de VM estén disponibles cuando los necesiten tus tareas de inferencia, puedes usar reservas de Compute Engine. Las reservas ofrecen un alto nivel de garantía a la hora de obtener capacidad para los recursos de Compute Engine. Para obtener más información, consulta Usar reservas con inferencia.

• Para reducir el coste de ejecutar tus trabajos de inferencia, puedes usar VMs de acceso puntual. Las VMs de aprovisionamiento esporádico son instancias de máquina virtual (VM) que corresponden a la capacidad excedente de Compute Engine. Las Spot VMs tienen descuentos significativos, pero Compute Engine puede detener o eliminar de forma preventiva las Spot VMs para recuperar la capacidad en cualquier momento. Para obtener más información, consulta el artículo sobre cómo usar VMs de acceso puntual con inferencias.

Dónde especificar los recursos de computación

Inferencia online

Si quieres usar un modelo entrenado de forma personalizada o un modelo tabular de AutoML para ofrecer inferencias online, debes especificar un tipo de máquina al desplegar el recurso Model como DeployedModel en un Endpoint. En el caso de otros tipos de modelos de AutoML, Vertex AI configura los tipos de máquina automáticamente.

Especifica el tipo de máquina (y, opcionalmente, la configuración de la GPU) en el campo dedicatedResources.machineSpec de tu DeployedModel.

Consulte cómo desplegar cada tipo de modelo:

• Desplegar un modelo tabular de AutoML en la Google Cloud consola
• Desplegar un modelo con entrenamiento personalizado en la Google Cloud consola
• Desplegar un modelo entrenado de forma personalizada con bibliotecas de cliente

Inferencia por lotes

Si quieres obtener inferencias por lotes de un modelo entrenado personalizado o de un modelo tabular de AutoML, debes especificar un tipo de máquina al crear un recurso BatchPredictionJob. Especifica el tipo de máquina (y, opcionalmente, la configuración de la GPU) en el campo dedicatedResources.machineSpec de tu BatchPredictionJob.

Tipos de máquina

En la siguiente tabla se comparan los tipos de máquinas disponibles para ofrecer inferencias de modelos tabulares de AutoML y modelos entrenados personalizados:

Consulta los precios de cada tipo de máquina. Para obtener más información sobre las especificaciones detalladas de estos tipos de máquinas, consulta la documentación de Compute Engine sobre tipos de máquinas.

Encontrar el tipo de máquina ideal

Inferencia online

Para encontrar el tipo de máquina ideal para tu caso de uso, te recomendamos que cargues tu modelo en varios tipos de máquina y midas características como la latencia, el coste, la simultaneidad y el rendimiento.

Una forma de hacerlo es ejecutar este cuaderno en varios tipos de máquinas y comparar los resultados para encontrar el que mejor se adapte a tus necesidades.

Vertex AI reserva aproximadamente 1 vCPU en cada réplica para ejecutar procesos del sistema. Esto significa que ejecutar el cuaderno en un tipo de máquina de un solo núcleo sería comparable a usar un tipo de máquina de dos núcleos para servir inferencias.

Al tener en cuenta los costes de inferencia, recuerda que, aunque las máquinas más grandes cuestan más, pueden reducir el coste total porque se necesitan menos réplicas para servir la misma carga de trabajo. Esto es especialmente evidente en las GPUs, que suelen costar más por hora, pero pueden ofrecer una latencia más baja y costar menos en general.

Inferencia por lotes

Para obtener más información, consulta Elegir el tipo de máquina y el número de réplicas.

Aceleradores de GPU opcionales

Algunas configuraciones, como las series A2 y G2, tienen un número fijo de GPUs integradas.

La serie A4X (a4x-highgpu-4g) requiere un número mínimo de réplicas de 18. Esta máquina se compra por rack y tiene un mínimo de 18 VMs.

Otras configuraciones, como la serie N1, te permiten añadir GPUs de forma opcional para acelerar cada nodo de inferencia.

.

Para añadir aceleradores de GPU opcionales, debes tener en cuenta varios requisitos:

• Solo puedes usar GPUs cuando tu recurso Model se basa en un SavedModel de TensorFlow o cuando usas un contenedor personalizado que se ha diseñado para aprovechar las GPUs. No puedes usar GPUs para modelos de scikit-learn ni XGBoost.
• La disponibilidad de cada tipo de GPU varía en función de la región que uses para tu modelo. Consulta qué tipos de GPUs están disponibles en cada región.
• Solo puedes usar un tipo de GPU para tu recurso DeployedModel o BatchPredictionJob, y hay limitaciones en el número de GPUs que puedes añadir en función del tipo de máquina que utilices. En la siguiente tabla se describen estas limitaciones.

En la siguiente tabla se muestran las GPUs opcionales que están disponibles para la inferencia online y cuántas GPUs de cada tipo puedes usar con cada tipo de máquina de Compute Engine:

Número válido de GPUs para cada tipo de máquina
Tipo de máquina	NVIDIA Tesla P100	NVIDIA Tesla V100	NVIDIA Tesla P4	NVIDIA Tesla T4
n1-standard-2	1, 2, 4	1, 2, 4, 8	1, 2, 4	1, 2, 4
n1-standard-4	1, 2, 4	1, 2, 4, 8	1, 2, 4	1, 2, 4
n1-standard-8	1, 2, 4	1, 2, 4, 8	1, 2, 4	1, 2, 4
n1-standard-16	1, 2, 4	2, 4, 8	1, 2, 4	1, 2, 4
n1-standard-32	2, 4	4, 8	2, 4	2, 4
n1-highmem-2	1, 2, 4	1, 2, 4, 8	1, 2, 4	1, 2, 4
n1-highmem-4	1, 2, 4	1, 2, 4, 8	1, 2, 4	1, 2, 4
n1-highmem-8	1, 2, 4	1, 2, 4, 8	1, 2, 4	1, 2, 4
n1-highmem-16	1, 2, 4	2, 4, 8	1, 2, 4	1, 2, 4
n1-highmem-32	2, 4	4, 8	2, 4	2, 4
n1-highcpu-2	1, 2, 4	1, 2, 4, 8	1, 2, 4	1, 2, 4
n1-highcpu-4	1, 2, 4	1, 2, 4, 8	1, 2, 4	1, 2, 4
n1-highcpu-8	1, 2, 4	1, 2, 4, 8	1, 2, 4	1, 2, 4
n1-highcpu-16	1, 2, 4	2, 4, 8	1, 2, 4	1, 2, 4
n1-highcpu-32	2, 4	4, 8	2, 4	2, 4

Las GPUs opcionales conllevan costes adicionales.

Siguientes pasos

• Desplegar un modelo tabular de AutoML en la Google Cloud consola
• Desplegar un modelo con entrenamiento personalizado en la Google Cloud consola
• Desplegar un modelo entrenado de forma personalizada con bibliotecas de cliente
• Obtener inferencias por lotes