Saiba mais sobre as previsões on-line

A Vertex AI oferece previsões on-line no Google Distributed Cloud (GDC) isolado por ar usando a API Online Prediction. Uma previsão é a saída de um modelo de machine learning treinado. Especificamente, as previsões on-line são solicitações síncronas feitas no endpoint do modelo.

Com a previsão on-line, é possível fazer upload, implantar, veicular e fazer solicitações usando seus próprios modelos de previsão em um conjunto de contêineres compatíveis. Use a previsão on-line ao fazer solicitações em resposta à entrada do aplicativo ou em situações que exigem inferência em tempo hábil.

É possível usar a API Online Prediction aplicando recursos personalizados do Kubernetes ao cluster de previsão dedicado que o operador de infraestrutura (IO) cria para você.

Antes de receber previsões on-line, é necessário exportar os artefatos do modelo e implantar o modelo em um endpoint. Essa ação associa recursos de computação ao modelo para veicular previsões on-line com baixa latência.

Em seguida, é possível receber previsões on-line de um modelo treinado personalizado formatando e enviando uma solicitação.

Imagens de contêiner disponíveis

A tabela a seguir contém a lista de contêineres compatíveis com a previsão on-line no Distributed Cloud:

Framework de ML	Versão	Aceleradores compatíveis	Imagens compatíveis
TensorFlow	2.14	CPU	tf2-cpu.2-14
		GPU	tf2-gpu.2-14
PyTorch	2.4	CPU	pytorch-cpu.2-4
		GPU	pytorch-gpu.2-4
	2.1 (DESCONTINUADO)	CPU	pytorch-cpu.2-1
		GPU	pytorch-gpu.2-1