Einführung in die Featureverwaltung in Vertex AI

Beim maschinellen Lernen (ML) sind Features charakteristische Attribute einer Instanz oder Entität, mit denen Sie Modelle trainieren oder Onlinevorhersagen treffen können. Features werden generiert, indem Roh-ML-Daten mithilfe von Feature-Engineering-Methoden in messbare und freigegebene Attribute umgewandelt werden, die allgemein als Feature-Transformationen bezeichnet werden.

Feature-Management bezieht sich auf das Erstellen, Verwalten, Freigeben und Bereitstellen von ML-Features, die an einem zentralen Ort oder in einem zentralen Repository gespeichert sind. Die Featureverwaltung erleichtert das Wiederverwenden von Features zum Trainieren und Neutrainieren von Modellen und reduziert den Lebenszyklus von KI- und ML-Bereitstellungen.

Ein Produkt oder Dienst, der Dienste zur Featureverwaltung zum Speichern, Entdecken, Freigeben und Bereitstellen von ML-Features umfasst, wird als Feature Store bezeichnet. Vertex AI umfasst die folgenden Feature Store-Dienste:

Auf dieser Seite werden die beiden Dienste zur Featureverwaltung vorgestellt und verglichen. Außerdem erhalten Sie einen Überblick über ihre Funktionen. Außerdem wird beschrieben, wie Sie einen vorhandenen Feature Store aus Vertex AI Feature Store (Legacy) in den neuen Vertex AI Feature Store migrieren.

Vertex AI Feature Store

Vertex AI Feature Store bietet einen neuen Ansatz für die Featureverwaltung, da Sie Ihre Feature-Daten aus einer BigQuery-Datenquelle verwalten und bereitstellen können. Bei diesem Ansatz dient Vertex AI Feature Store als Metadatenebene, die Ihrer Feature-Datenquelle in BigQuery Onlinebereitstellungsfunktionen bietet und es Ihnen ermöglicht, anhand dieser Daten Funktionen online bereitzustellen. Sie müssen die Daten nicht in einen separaten Offlinespeicher in Vertex AI kopieren oder importieren.

Vertex AI Feature Store ist in Dataplex eingebunden, um Feature-Metadaten zu erfassen. Außerdem werden Einbettungen unterstützt und Sie können Suchanfragen nach Vektorähnlichkeiten für den nächsten Nachbarn ausführen.

Vertex AI Feature Store ist für die Bereitstellung mit extrem niedriger Latenz optimiert und bietet folgende Möglichkeiten:

  • Sie können Ihre Offline-Featuredaten in BigQuery speichern und verwalten und dabei die Datenverwaltungsfunktionen von BigQuery nutzen.

  • Funktionen freigeben und wiederverwenden, indem sie der Feature-Registry hinzugefügt werden.

  • Bereitstellen von Features für Onlinevorhersagen mit niedrigen Latenzen über die Bigtable-Onlinebereitstellung oder mit sehr niedrigen Latenzen über die optimierte Onlinebereitstellung.

  • Mit der optimierten Onlinebereitstellung können Sie Einbettungen in Ihren Feature-Daten speichern und Vektorähnlichkeitssuchen ausführen.

  • Metadaten zu Elementen in Dataplex erfassen

Weitere Informationen zu Vertex AI Feature Store finden Sie in der Dokumentation zu Vertex AI Feature Store.

Vertex AI Feature Store (Legacy)

Vertex AI Feature Store (Legacy) bietet ein zentrales Repository zum Speichern, Organisieren und Bereitstellen von ML-Feature-Daten. Dabei wird eine Ressourcenhierarchie bereitgestellt, die sowohl einen Online- als auch einen Offlinespeicher in Vertex AI umschließt. Der Onlinespeicher stellt die neuesten Featurewerte für Onlinevorhersagen bereit. Im Offlinespeicher werden Featuredaten (einschließlich Verlaufsdaten) gespeichert und verwaltet, die Sie für das Batch-Bereitstellen zum Trainieren von ML-Modellen verwenden können.

Vertex AI Feature Store (Legacy) ist ein voll funktionsfähiger Dienst zur Featureverwaltung, mit dem Sie Folgendes tun können:

  • Featuredaten per Batch- oder Streamingimport aus einer Datenquelle wie einem Cloud Storage-Bucket oder einer BigQuery-Quelle in den Offlinespeicher importieren.

  • Features online für Vorhersagen bereitstellen.

  • Features für das Training oder die Analyse von ML-Modellen im Batch bereitstellen oder exportieren.

  • Legen Sie IAM-Richtlinien (Identity and Access Management) für EntityType- und Featurestore-Ressourcen fest.

  • Feature Store-Ressourcen über die Google Cloud Console verwalten

Vertex AI Feature Store (Legacy) bietet keine Funktionen zur Verwaltung von Einbettungen oder zum Abrufen von Vektoren. Wenn Sie Einbettungen in Ihren Feature-Daten verwalten oder Vektorähnlichkeitssuchen durchführen möchten, sollten Sie zu Vertex AI Feature Store wechseln. Informationen zur Migration zu Vertex AI Feature Store finden Sie unter Zu Vertex AI Feature Store migrieren.

Weitere Informationen zu Vertex AI Feature Store (Legacy) finden Sie in der Dokumentation zu Vertex AI Feature Store (Legacy).

Vergleich zwischen Vertex AI Feature Store und Vertex AI Feature Store (Legacy)

In der folgenden Tabelle werden die verschiedenen Aspekte von Vertex AI Feature Store (Legacy) und dem neuen Vertex AI Feature Store verglichen:

Kategorie Vertex AI Feature Store Vertex AI Feature Store (Legacy)
Datenmodelle
Ressourcenhierarchie (Online- und Offlineshop) Die Ressourcenhierarchie im Onlineshop sieht so aus: FeatureOnlineStore -> FeatureView
  • FeatureOnlineStore enthält nur die Konfigurationsparameter für Onlinespeicher und ‑abruf. Sie kann mehrere FeatureView-Ressourcen enthalten.
  • FeatureView ist eine logische Gruppierung von Funktionen in einer Anfrage für die Onlinebereitstellung. Es ist eine einzelne Ressource, die Entitätstypen und Features ersetzt. Die Daten in einer Featureansicht spiegeln die neuesten Featurewerte im BigQuery-Speicher wider.
Es gibt keine Offlinespeicherressourcen, da sich die Daten in BigQuery befinden. 		Die Ressourcenhierarchie sieht so aus: Featurestore -> EntityType -> Feature
  • Featurestore enthält die Konfigurationsparameter für Online- und Offlinegeschäfte. Sie kann mehrere EntityType-Ressourcen enthalten.
  • EntityType ist eine Sammlung semantisch verwandter Features. Es kann mehrere Instanzen (Entitäten) haben, die mehrere Feature-Ressourcen enthalten können.
  • Feature ist eine Property oder ein Attribut eines EntityType.
Ressourcenhierarchie (Feature Registry) Die Ressourcenhierarchie in der Feature-Registry sieht so aus: FeatureGroup -> Feature
  • FeatureGroup registriert den Ort der BigQuery-Datenquelle. Sie kann mehrere Feature-Ressourcen enthalten.
  • Feature entspricht einer Spalte in der Datenquelle, die mit der Featuregruppe registriert ist.
 Im Vertex AI Feature Store (Legacy) gibt es keine Feature Registry.
Featureverwaltung
Online- und Ladengeschäfte Sie müssen eine Onlinespeicher-Instanz erstellen und Featureansichten definieren.
Vertex AI Feature Store erfordert keinen separaten Offlinespeicher, da die BigQuery-Datenquelle den Offlinespeicher darstellt. 		Wenn Sie einen Feature Store bereitstellen, erstellt Vertex AI Feature Store (Legacy) separate Online- und Offlinespeicher.
Feature-Import Sie müssen keine Daten in Offlinespeicher importieren, da sie sich in BigQuery befinden und Sie sie direkt für Offlinezwecke verwenden können. Für Anwendungsfälle mit Onlinebereitstellung können Sie eine BigQuery-Tabelle registrieren oder als Feature-Ansicht anzeigen, wodurch Feature-Daten in den Onlinespeicher kopiert werden. Vertex AI Feature Store aktualisiert die Daten im Onlinespeicher während der Datensynchronisierung. Sie müssen Featuredaten in Offline- und Onlinespeicher importieren, indem Sie den Batch- oder Streamingimport aus einer externen Quelle verwenden, z. B. einer BigQuery-Tabelle oder einer BigQuery-Ansicht.
Datenübertragung zwischen Online- und Offlinegeschäften Vertex AI Feature Store verwendet BigQuery als Offlinespeicher und kopiert nur die neuesten Featurewerte in den Onlinespeicher. In Vertex AI wird kein separater Offlinespeicher bereitgestellt. Featurewerte werden in den Offlinespeicher und anschließend in den Onlinespeicher kopiert.
Bereitstellung von Features
Offlinebereitstellung Wenn Sie mit dem Offlinespeicher interagieren möchten, müssen Sie BigQuery APIs verwenden. Die zugrunde liegenden Funktionen sind identisch. Wenn Sie mit dem Offlinespeicher interagieren möchten, der vom Vertex AI Feature Store (Legacy) verwaltet wird, müssen Sie Vertex AI APIs verwenden. Beispiele für diese Interaktionen sind Suchanfragen zu einem bestimmten Zeitpunkt und Exportfunktionen.
Onlinebereitstellung

Vertex AI Feature Store bietet zwei Arten von Onlinebereitstellungen:

  • Die Bigtable-Onlinebereitstellung ähnelt der Onlinebereitstellung im Vertex AI Feature Store (Legacy), bietet jedoch ein verbessertes Caching, um das Heißlaufen zu verhindern. Es ist nützlich für große Datenmengen (Terabytes an Daten).
  • Die optimierte Onlinebereitstellung eignet sich für die Bereitstellung mit extrem niedrigen Latenzen.

Bei jeder Onlineleseanfrage werden alle voreingestellten Funktionen in einer Feature-Ansicht ohne zusätzliche Verarbeitung abgerufen, was zu niedrigeren Latenzen führt.

 Vertex AI Feature Store (Legacy) bietet nur eine Art der Onlinebereitstellung. Sie können die Entitäten und Features angeben, für die die Feature-Daten abgerufen werden sollen.
Benutzeroberflächen und APIs
Funktionen der Google Cloud Console In der Google Cloud Console können Sie Ressourcen wie Onlineshop-Instanzen, Featureview-Instanzen, Featuregruppen und Features erstellen und verwalten. Sie können sich auch die Liste der Onlinespeicher und Informationen zur Feature-Abstammung ansehen. In der Google Cloud Console können Sie die meisten Aufgaben zur Featureverwaltung ausführen, einschließlich der Überwachung der Ressourcenerstellung.
APIs zur Ressourcenerstellung Enthält APIs zum Erstellen von FeatureOnlineStore-, FeatureView-, FeatureGroup- und Feature-Ressourcen. Mit diesen Ressourcen können Sie Ihre Feature Registry und Ihren Onlineshop einrichten. Für den Offlinespeicher wird BigQuery verwendet. Enthält APIs zum Erstellen von Featurestore-, EntityType- und Feature-Ressourcen, die in Online- und Offlineshops verwendet werden.
APIs für Batch-Import (Offlinespeicher) Es erfordert keine APIs für den Batchimport in den Offlinespeicher, da kein separater Batchimportschritt in den Offlinespeicher erforderlich ist. Verwendet Vertex AI APIs für den Batchimport in den Offlinespeicher.
APIs für Batch-Import (Onlinespeicher) Kopiert während der Datensynchronisierung regelmäßig Daten aus BigQuery in den Onlineshop. Verwendet Vertex AI APIs für den Batch-Import in den Onlineshop.
APIs für Streaming-Importe (Offlinespeicher) Es erfordert keine APIs für den Streaming-Import in den Offlinespeicher, da kein separater Streaming-Importschritt in den Offlinespeicher erforderlich ist. Verwendet Vertex AI für den Streaming-Import in den Offlinespeicher.
APIs für Streaming-Importe (Onlinspeicher) Der Streaming-Import wird nicht unterstützt. Verwendet Vertex AI APIs für den Streaming-Import in den Onlineshop.
Batch Serving APIs Hier werden BigQuery APIs verwendet, um Daten direkt aus den in den Feature-Ansichten definierten BigQuery-Datenquellen im Batch bereitzustellen. Verwendet Vertex AI APIs, um Feature-Daten im Batch bereitzustellen.
APIs für die Onlinebereitstellung verwendet den FetchFeatureValues(FetchFeatureValuesRequest) API. Verwendet die ReadFeatureValues(ReadFeatureValuesRequest) API für die Onlinebereitstellung.

Zu Vertex AI Feature Store migrieren

Ressourcen und Featuredaten aus Vertex AI Feature Store (Legacy) sind im Vertex AI Feature Store nicht direkt verfügbar. Wenn Sie bereits Vertex AI Feature Store (Legacy) verwenden und Ihr Projekt zu Vertex AI Feature Store migrieren möchten, gehen Sie so vor: Da sich die Ressourcenhierarchie im Vertex AI Feature Store von der im Vertex AI Feature Store (Legacy) unterscheidet, müssen Sie die Ressourcen nach der Migration der Feature-Daten manuell erstellen.

  1. Wenn Ihre Feature-Daten noch nicht in BigQuery verfügbar sind, exportieren Sie sie nach BigQuery und erstellen Sie BigQuery-Tabellen und ‑Ansichten. Beachten Sie die Richtlinien für die Datenvorbereitung, wenn Sie die Daten exportieren und vorbereiten. Beispiel:

    • Jedem Element entspricht eine Spalte. Entitäts-IDs können in einer separaten Spalte angegeben werden, die Sie als Spalte ID identifizieren können.

    • Vertex AI Feature Store hat keine EntityType- und Entity-Ressourcen. Geben Sie die Featurewerte für jede Entität in der Zeile an, die der Entitäts-ID entspricht.

  2. Optional: Featuredatenquelle registrieren, indem Sie Featuregruppen und Features hinzufügen Weitere Informationen finden Sie unter Featuregruppe erstellen und Feature erstellen.

  3. Richten Sie die Onlinebereitstellung ein. Erstellen Sie dazu Onlinespeicher- und Featureansicht-Instanzen basierend auf den Featuredaten.

Nächste Schritte