Panoramica dell'ottenimento di inferenze su Vertex AI

Un'inferenza è l'output di un modello di machine learning addestrato. Questa pagina fornisce una panoramica del flusso di lavoro per ottenere inferenze dai tuoi modelli su Vertex AI.

Vertex AI offre due metodi per ottenere deduzioni:

• Le deduzione online sono richieste sincrone effettuate a un modello di cui è stato eseguito il deployment in un Endpoint. Pertanto, prima di inviare una richiesta, devi prima eseguire il deployment della risorsa Model in un endpoint. In questo modo vengono associate risorse di calcolo al modello in modo che possa eseguire inferenze online con bassa latenza. Utilizza le inferenze online quando effettui richieste in risposta all'input dell'applicazione o in situazioni che richiedono un'inferenza tempestiva.
• Le inferenza in batch sono richieste asincrone effettuate a un modello che non è di cui non è stato eseguito il deployment in un endpoint. Invia la richiesta (come risorsa BatchPredictionJob) direttamente alla risorsa Model. Utilizza le inferenze batch quando non hai bisogno di una risposta immediata e vuoi elaborare i dati accumulati utilizzando una singola richiesta.

Ottenere deduzioni da modelli con addestramento personalizzato

Per ottenere deduzioni, devi prima importare il tuo modello. Dopo l'importazione, diventa una risorsa Model visibile in Vertex AI Model Registry.

Poi, leggi la seguente documentazione per scoprire come ottenere le deduzioni:

• Eseguire inferenze batch

  Oppure

• Esegui il deployment del modello nell'endpoint e ottieni deduzioni online.

Ottenere deduzioni dai modelli AutoML

A differenza dei modelli con addestramento personalizzato, i modelli AutoML vengono importati automaticamente nel Vertex AI Model Registry dopo l'addestramento.

A parte questo, il flusso di lavoro per i modelli AutoML è simile, ma varia leggermente in base al tipo di dati e all'obiettivo del modello. La documentazione per ottenere le inferenze di AutoML si trova insieme all'altra documentazione di AutoML. Ecco i link alla documentazione:

Immagine

Scopri come ottenere deduzioni dai seguenti tipi di modelli AutoML per le immagini:

• Modelli di classificazione delle immagini
• Modelli di rilevamento di oggetti immagine

Tabulare

Scopri come ottenere deduzioni dai seguenti tipi di modelli AutoML tabulari:

• Modelli di classificazione e regressione tabulari

  • Inferenze online
  • Inferenze batch

• Modelli di previsione tabulari (solo inferenze batch)

Testo

Scopri come ottenere deduzioni dai seguenti tipi di modelli AutoML di testo:

• Modelli di classificazione del testo
• Modelli di estrazione di entità di testo
• Modelli di analisi del sentiment del testo

Video

Scopri come ottenere deduzioni dai seguenti tipi di modelli AutoML video:

• Modelli di riconoscimento di azioni nei video (solo inferenze collettive)
• Modelli di classificazione dei video (solo inferenze collettive)
• Modelli di monitoraggio di oggetti video (solo inferenze batch)

Ottenere deduzioni dai modelli BigQuery ML

Esistono due modi per ottenere deduzioni dai modelli BigQuery ML:

• Puoi richiedere inferenze collettive direttamente dal modello in BigQuery ML.
• Puoi registrare i modelli direttamente in Model Registry, senza esportarli da BigQuery ML o importarli in Model Registry.