Informazioni sulle previsioni online

Vertex AI offre previsioni online su Google Distributed Cloud (GDC) air-gapped tramite l'API Online Prediction. Una previsione è l'output di un modello di machine learning addestrato. Nello specifico, le previsioni online sono richieste sincrone effettuate all'endpoint del modello.

La previsione online ti consente di caricare, eseguire il deployment, pubblicare e inviare richieste utilizzando i tuoi modelli di previsione su un insieme di container supportati. Utilizza la previsione online quando effettui richieste in risposta all'input dell'applicazione o in situazioni che richiedono un'inferenza tempestiva.

Puoi utilizzare l'API Online Prediction applicando risorse personalizzate di Kubernetes al cluster di previsione dedicato che l'operatore dell'infrastruttura (IO) crea per te.

Prima di ottenere previsioni online, devi esportare gli artefatti del modello ed eseguire il deployment del modello in un endpoint. Questa azione associa le risorse di calcolo al modello per pubblicare previsioni online a bassa latenza.

Dopodiché, puoi ottenere previsioni online da un modello addestrato personalizzato formattando e inviando una richiesta.

Immagini container disponibili

La tabella seguente contiene l'elenco dei contenitori supportati per la previsione online in Distributed Cloud:

Framework ML Versione Acceleratori supportati Immagini supportate
TensorFlow 2.14 CPU tf2-cpu.2-14
GPU tf2-gpu.2-14
PyTorch 2,4 CPU pytorch-cpu.2-4
GPU pytorch-gpu.2-4
2.1 (DEPRECATO) CPU pytorch-cpu.2-1
GPU pytorch-gpu.2-1