Einführung in Vertex AI

Vertex AI ist eine Plattform für maschinelles Lernen (ML), mit der Sie ML-Modelle und KI-Anwendungen trainieren und bereitstellen und große Sprachmodelle (LLMs) für Ihre KI-gestützten Anwendungen anpassen können. Vertex AI kombiniert Data-Engineering-, Data-Science- und ML-Engineering-Workflows, sodass Ihre Teams mit einheitlichen Tools zusammenarbeiten und Ihre Anwendungen mithilfe der Vorteile von Google Cloudskalieren können.

Vertex AI bietet mehrere Optionen für das Modelltraining und die Bereitstellung:

Nachdem Sie Ihre Modelle bereitstellen, verwenden Sie die End-to-End-MLOps-Tools von Vertex AI, um Projekte während des gesamten ML-Lebenszyklus zu automatisieren und zu skalieren. Diese MLOps-Tools werden in einer vollständig verwalteten Infrastruktur ausgeführt, die Sie entsprechend Ihren Leistungs- und Budgetanforderungen anpassen können.

Sie können das Vertex AI SDK für Python verwenden, um den gesamten ML-Workflow in Vertex AI Workbench, einer Jupyter-Notebook-basierten Entwicklungsumgebung, auszuführen. Sie können mit einem Team zusammenarbeiten, um Ihr Modell in Colab Enterprise zu entwickeln, einer Version von Colaboratory, die in Vertex AI eingebunden ist. Weitere verfügbare Schnittstellen sind die Google Cloud Console, das Google Cloud CLI-Befehlszeilentool, Clientbibliotheken und Terraform (eingeschränkte Unterstützung).

Vertex AI und der Workflow für maschinelles Lernen (ML)

Dieser Abschnitt bietet einen Überblick über den Workflow für maschinelles Lernen und wie Sie mit Vertex AI Ihre Modelle erstellen und bereitstellen können.

Diagramm des ML-Workflows

  1. Datenvorbereitung: Nachdem Sie Ihr Dataset extrahiert und bereinigt haben, führen Sie eine explorative Datenanalyse (EDA) durch, um das Datenschema und die Merkmale zu verstehen, die vom ML-Model erwartet werden. Wenden Sie Datentransformationen und Feature Engineering auf das Modell an und teilen Sie die Daten in Trainings-, Validierungs- und Test-Datasets auf.

    • Mit Vertex AI Workbench-Notebooks Daten untersuchen und visualisieren Vertex AI Workbench lässt sich in Cloud Storage und BigQuery einbinden, sodass Sie schneller auf Ihre Daten zugreifen und sie verarbeiten können.

    • Verwenden Sie für große Datasets Dataproc Serverless Spark aus einem Vertex AI Workbench-Notebook, um Spark-Arbeitslasten auszuführen, ohne Ihre eigenen Dataproc-Cluster verwalten zu müssen.

  2. Modelltraining: Wählen Sie eine Trainingsmethode aus, um ein Modell zu trainieren und auf Leistung zu optimieren.

    • Informationen zum Trainieren eines Modells ohne Schreiben von Code finden Sie in der AutoML-Übersicht. AutoML unterstützt Tabellen-, Bild- und Videodaten.

    • Lesen Sie die Übersicht über benutzerdefiniertes Training, um Ihren eigenen Trainingscode zu schreiben und benutzerdefinierte Modelle mit Ihrem bevorzugten ML-Framework zu trainieren.

    • Optimieren Sie Hyperparameter für benutzerdefinierte Modelle mithilfe von benutzerdefinierten Abstimmungsjobs.

    • Vertex AI Vizier passt Hyperparameter in komplexe Modelle für maschinelles Lernen (ML) an.

    • Verwenden Sie Vertex AI-Tests, um Ihr Modell mit verschiedenen ML-Techniken zu trainieren und die Ergebnisse zu vergleichen.

    • Registrieren Sie Ihre trainierten Modelle in der Vertex AI-Modell-Registry, um sie zu versionieren und an die Produktion zu übergeben. Vertex AI Model Registry ist mit Validierungs- und Bereitstellungsfunktionen wie der Modellbewertung und Endpunkten integriert.

  3. Modellbewertung und -iteration: Evaluieren Sie Ihr trainiertes Modell, passen Sie Ihre Daten basierend auf Bewertungsmesswerten an und iterieren Sie Ihr Modell.

    • Verwenden Sie Modellbewertungsmesswerte wie Precision und Recall, um die Leistung Ihrer Modelle zu bewerten und zu vergleichen. Erstellen Sie Bewertungen über Vertex AI Model Registry oder fügen Sie Bewertungen in Ihren Vertex AI Pipelines-Workflow ein.

  4. Modellbereitstellung: Modell in der Produktion bereitstellen und Onlineinferenzen abrufen oder direkt Batchinferenzen abfragen.

    • Stellen Sie Ihr benutzerdefiniertes Modell mit vordefinierten oder benutzerdefinierten Containern bereit, um Onlineinferenzen in Echtzeit zu erhalten (manchmal auch als HTTP-Inferenz bezeichnet).

    • Asynchrone Batchinferenzen abrufen, für die keine Bereitstellung auf Endpunkten erforderlich ist.

    • Mit der optimierten TensorFlow-Laufzeit können Sie TensorFlow-Modelle zu geringeren Kosten und mit einer geringeren Latenz als Open-Source-vordefinierten TensorFlow Serving-Containern bereitstellen.

    • Verwenden Sie für Online-Bereitstellungsfälle mit tabellarischen Modellen Vertex AI Feature Store, um Features aus einem zentralen Repository bereitzustellen und den Featurezustand zu überwachen.

    • Vertex Explainable AI hilft Ihnen zu verstehen, wie jedes Feature zur Modellinferenz beiträgt (Feature-Attribution) und falsch gelabelte Daten aus dem Trainingsdatensatz zu finden (beispielbasierte Erklärung).

    • Modelle mit BigQuery ML erstellen und Onlineinferenzen abrufen

  5. Modellmonitoring: Überwachen Sie die Leistung des bereitgestellten Modells. Verwenden Sie eingehende Inferenzdaten, um Ihr Modell neu zu trainieren und die Leistung zu verbessern.

    • Vertex AI Model Monitoring überwacht Modelle auf Abweichungen zwischen Training und Bereitstellung und auf Inferenzabweichungen und sendet Ihnen Benachrichtigungen, wenn die eingehenden Inferenzdaten zu weit von der Trainingsbasis abweichen.

Nächste Schritte