Introduzione a Vertex AI

Vertex AI è una piattaforma di machine learning (ML) che ti consente di addestrare ed eseguire il deployment di modelli ML e applicazioni AI e personalizzare modelli linguistici di grandi dimensioni (LLM) da utilizzare nelle tue applicazioni basate sull'IA. Vertex AI combina i flussi di lavoro di data engineering, data science e ML engineering, consentendo ai team di collaborare utilizzando un set di strumenti comune e di scalare le applicazioni sfruttando i vantaggi di Google Cloud.

Vertex AI offre varie opzioni per addestrare un modello ed eseguire il deployment:

Dopo aver eseguito il deployment dei modelli, utilizza gli strumenti MLOps end-to-end di Vertex AI per automatizzare e scalare i progetti durante il ciclo di vita dell'ML. Questi strumenti MLOps vengono eseguiti su un'infrastruttura completamente gestita che puoi personalizzare in base alle tue esigenze di rendimento e budget.

Puoi utilizzare l'SDK Vertex AI per Python per eseguire l'intero flusso di lavoro di machine learning in Vertex AI Workbench, un ambiente di sviluppo basato su Jupyter Notebook. Puoi collaborare con un team per sviluppare il tuo modello in Colab Enterprise, una versione di Colaboratory integrata con Vertex AI. Altre interfacce disponibili include la console Google Cloud, lo strumento a riga di comando Google Cloud CLI, le librerie client e Terraform (supporto limitato).

Vertex AI e il flusso di lavoro di machine learning (ML)

Questa sezione fornisce una panoramica del flusso di lavoro di machine learning e su come puoi utilizzare Vertex AI per creare ed eseguire il deployment dei tuoi modelli.

diagramma del flusso di lavoro ML

  1. Preparazione dei dati: dopo aver estratto e pulito il set di dati, esegui l'analisi esplorativa dei dati (EDA) per comprendere lo schema dei dati e le caratteristiche previste dal modello ML. Applica le trasformazioni dei dati e feature engineering al modello e suddividi i dati in set di addestramento, convalida e test.

    • Esplora e visualizza i dati utilizzando i blocchi note di Vertex AI Workbench. Vertex AI Workbench si integra con Cloud Storage e BigQuery per aiutarti ad accedere ed elaborare i dati più velocemente.

    • Per set di dati di grandi dimensioni, utilizza Dataproc Serverless Spark da un blocco note Vertex AI Workbench per eseguire carichi di lavoro Spark senza dover gestire i tuoi cluster Dataproc.

  2. Addestramento del modello: scegli un metodo di addestramento per addestrare un modello e ottimizzarlo in termini di prestazioni.

    • Per addestrare un modello senza scrivere codice, consulta la panoramica di AutoML. AutoML supporta i dati tabulari, di testo, di immagine e video.

    • Per scrivere il tuo codice di addestramento e addestrare modelli personalizzati utilizzando il tuo framework ML preferito, consulta la Panoramica dell'addestramento personalizzato.

    • Ottimizza gli iperparametri per i modelli con addestramento personalizzato utilizzando i job di ottimizzazione personalizzata.

    • Vertex AI Vizier ottimizza gli iperparametri in modelli di machine learning (ML) complessi.

    • Utilizza Vertex AI Experiments per addestrare il modello utilizzando diverse tecniche di ML e confronta i risultati.

    • Registra i modelli addestrati nel registro dei modelli Vertex AI per il controllo delle versioni e il trasferimento alla produzione. Vertex AI Model Registry si integra con le funzionalità di convalida e di deployment, come la valutazione dei modelli e gli endpoint.

  3. Valutazione e iterazione del modello: valuta il modello addestrato, apporta aggiustamenti ai dati in base alle metriche di valutazione e esegui l'iterazione sul modello.

    • Utilizza le metriche di valutazione del modello, come precisione e richiamo, per valutare e confrontare le prestazioni dei tuoi modelli. Crea valutazioni tramite Vertex AI Model Registry o includile nel flusso di lavoro di Vertex AI Pipelines.

  4. Pubblicazione del modello: esegui il deployment del modello in produzione e ottieni le previsioni online o esegui query direttamente per le previsioni batch.

    • Esegui il deployment del modello con addestramento personalizzato utilizzando container predefiniti o personalizzati per ottenere previsioni online in tempo reale (a volte chiamate previsioni HTTP).

    • Ottieni previsioni batch asincrone, che non richiedono il deployment negli endpoint.

    • Il runtime di TensorFlow ottimizzato ti consente di pubblicare modelli TensorFlow a un costo inferiore e con una latenza inferiore rispetto ai container di pubblicazione di TensorFlow precompilati basati su open source.

    • Per i casi di pubblicazione online con modelli tabulari, utilizza Vertex AI Feature Store per pubblicare le funzionalità da un repository centrale e monitorare la loro integrità.

    • Vertex Explainable AI ti aiuta a capire in che modo ogni caratteristica contribuisce alla previsione del modello (attribuzione delle caratteristiche) e a trovare i dati etichettati in modo errato nel set di dati di addestramento (spiegazione basata su esempi).

    • Esegui il deployment e ottieni previsioni online per i modelli addestrati con BigQuery ML.

  5. Monitoraggio del modello: monitora le prestazioni del modello di cui è stato eseguito il deployment. Utilizza i dati di previsione in entrata per addestrare nuovamente il modello e migliorarne le prestazioni.

    • Vertex AI Model Monitoring monitora i modelli per rilevare disallineamenti addestramento/produzione e deviazioni della previsione e invia avvisi quando i dati di previsione in entrata si discostano troppo dalla linea di base dell'addestramento.

Passaggi successivi