Container predefiniti per l'inferenza e la spiegazione

Vertex AI fornisce immagini container Docker che esegui come container predefiniti per fornire inferenze e spiegazioni da artefatti del modello addestrato. Questi container, organizzati per framework di machine learning (ML) e versione del framework, forniscono server di inferenza HTTP che puoi utilizzare per fornire inferenze con una configurazione minima. In molti casi, utilizzare un container predefinito è più semplice che creare un container personalizzato per l'inferenza.

Questo documento elenca i container predefiniti per inferenze e spiegazioni e descrive come utilizzarli con gli artefatti del modello che hai creato utilizzando la funzionalità di addestramento personalizzato di Vertex AI o con gli artefatti del modello che hai creato al di fuori di Vertex AI.

Criteri e orari di assistenza

Vertex AI supporta ogni versione del framework in base a una pianificazione per ridurre al minimo le vulnerabilità della sicurezza. Consulta il programma delle norme di assistenza per comprendere le implicazioni delle date di fine supporto e fine disponibilità.

Immagini container disponibili

Ciascuna delle seguenti immagini container è disponibile in diversi repository Artifact Registry, che archiviano i dati in varie località. Puoi utilizzare uno qualsiasi degli URI per un'immagine quando esegui l'addestramento personalizzato; ognuno fornisce la stessa immagine container. Se utilizzi la console Google Cloud per creare una risorsa Model, la console Google Cloud seleziona l'URI che corrisponde meglio alla posizione in cui utilizzi Vertex AI per ridurre la latenza.

TensorFlow

Runtime TensorFlow ottimizzato

Le seguenti immagini container utilizzano il runtime TensorFlow ottimizzato. Per maggiori informazioni, consulta Utilizzare il runtime TensorFlow ottimizzato.

PyTorch

scikit-learn

XGBoost

Utilizzare un container predefinito

Puoi specificare un container predefinito per l'inferenza quando crei una risorsa TrainingPipeline personalizzata che carica un Model o quando importi gli artefatti del modello come Model.

Per utilizzare uno di questi contenitori predefiniti, devi salvare il modello come uno o più artefatti del modello che rispettino i requisiti del contenitore predefinito. Per saperne di più, consulta Esportare gli artefatti del modello per l'inferenza.

I seguenti blocchi note mostrano come utilizzare un container predefinito per pubblicare inferenze.

Che cosa vuoi fare?	Notebook
Addestra e pubblica un modello TensorFlow utilizzando un container predefinito	Addestramento personalizzato e inferenza online
Pubblica un modello PyTorch utilizzando un container predefinito	Serving di modelli di immagini PyTorch con container predefiniti su Vertex AI
Pubblica un modello Stable Diffusion utilizzando un container predefinito	Esegui il deployment e ospita un modello Stable Diffusion su Vertex AI

Notebook

Passaggi successivi

• Scopri come eseguire il deployment di un modello su un endpoint per fornire inferenze.