Obtener inferencias de un modelo entrenado personalizado

Una inferencia es el resultado de un modelo de aprendizaje automático entrenado. En esta página se ofrece una descripción general del flujo de trabajo para obtener inferencias de tus modelos en Vertex AI.

Vertex AI ofrece dos métodos para obtener inferencias:

  • Las inferencias online son solicitudes síncronas que se realizan a un modelo desplegado en un Endpoint. Por lo tanto, antes de enviar una solicitud, primero debes implementar el recurso Model en un endpoint. De esta forma, se asocian recursos de computación al modelo para que este pueda ofrecer inferencias online con baja latencia. Usa inferencias online cuando hagas solicitudes en respuesta a la entrada de la aplicación o en situaciones que requieran inferencias oportunas.
  • Las inferencias por lotes son solicitudes asíncronas que se envían a un modelo que no se ha desplegado en un endpoint. Envías la solicitud (como un recurso BatchPredictionJob) directamente al recurso Model. Puedes usar esta función si no necesitas una respuesta inmediata y quieres procesar los datos acumulados a partir de una sola solicitud.

Probar un modelo de forma local

Antes de obtener inferencias, es útil desplegar el modelo en un endpoint local durante la fase de desarrollo y pruebas. De esta forma, puedes iterar más rápido y probar tu modelo sin desplegarlo en un endpoint online ni incurrir en costes de inferencia. El despliegue local está pensado para el desarrollo y las pruebas locales, no para los despliegues de producción.

Para desplegar un modelo de forma local, usa el SDK de Vertex AI para Python y despliega un LocalModel en un LocalEndpoint. Para ver una demostración, consulta este cuaderno.

Aunque tu cliente no esté escrito en Python, puedes usar el SDK de Vertex AI para Python para iniciar el contenedor y el servidor, de forma que puedas probar las solicitudes de tu cliente.

Obtener inferencias de modelos entrenados personalizados

Para obtener inferencias, primero debes importar tu modelo. Una vez importado, se convierte en un recurso Model que se puede ver en el registro de modelos de Vertex AI.

A continuación, consulta la siguiente documentación para saber cómo obtener inferencias:

Siguientes pasos