KI-Remote-Modelle in AlloyDB registrieren und aufrufen

Auf dieser Seite werden die wichtigsten Konzepte beschrieben, die Sie kennen müssen, bevor Sie einen KI-Modellendpunkt registrieren und Vorhersagen mit der Modellendpunktverwaltung aufrufen.

Informationen zum Registrieren von Remote-Modellendpunkten bei AlloyDB Omni finden Sie unter Remote-KI-Modelle in AlloyDB Omni registrieren und aufrufen.

Übersicht

Modellendpunktverwaltung ist eine AlloyDB AI-Funktion, die Funktionen und Operatoren umfasst, mit denen Sie Metadaten von KI-Modellen registrieren und verwalten können. Sie können einen Modellendpunkt registrieren, Metadaten für Modellendpunkte in Ihrem Datenbankcluster verwalten und mit SQL-Abfragen Aufrufe an die Remote-Modellendpunkte senden.

Die Verwaltung von Modellendpunkten bietet die Erweiterung google_ml_integration, die Funktionen enthält, mit denen Sie die Metadaten zu KI-Modellen bei AlloyDB registrieren können. Diese registrierten Metadaten werden verwendet, um Vektoreinbettungen zu generieren oder Vorhersagen aufzurufen.

Die AlloyDB AI-Abfrage-Engine ist eine Reihe von Funktionen, die auf der Verwaltung von Modellendpunkten (Vorschau) aufbauen und Unterstützung für KI-Operatoren hinzufügen, mit denen Sie natürlichsprachliche Formulierungen mit SQL-Abfragen kombinieren können, z. B. ai.if() für Filter und Joins, ai.rank() für die Sortierung und ai.generate() zum Generieren von Zusammenfassungen Ihrer Daten. Außerdem wird Unterstützung für multimodale und Ranking-Modelle von Vertex AI hinzugefügt.

Hier sind einige Beispiele für Modelltypen, die Sie mit der Modellendpunktverwaltung registrieren können:

  • Vertex AI-Modelle zur Texteinbettung und generische Modelle
  • Multimodales Modell von Vertex AI (Vorschau)
  • Vertex AI-Rankingmodelle (Vorschau)
  • Einbettungsmodelle von Drittanbietern wie Hugging Face oder OpenAI
  • Benutzerdefiniert gehostete Modelle für Texteinbettungen, einschließlich selbst gehosteter Modelle oder Modelle, die über private Endpunkte verfügbar sind
  • Generische Modelle mit einer JSON-basierten API, z. B. das facebook/bart-large-mnli-Modell, das auf Hugging Face gehostet wird, das gemini-pro-Modell aus dem Vertex AI Model Garden oder die claude-Modelle von Anthropic

Anwendungsfälle

Sie können die registrierten Modellendpunkte aufrufen, um mit vorhandenen Daten in Ihrer Datenbank zu interagieren und Einbettungen oder Vorhersagen zu generieren. Hier einige Anwendungsbeispiele:

  • Echtzeit-Inferenz mit Transaktionsanwendung: Bietet Echtzeit-Empfehlungen basierend auf dem aktuellen Browserverlauf und den Inhalten im Einkaufswagen des Nutzers.
  • Sentiment ermitteln und Zusammenfassungen erstellen: Für eine Datenbank mit Kundenrezensionen werden Zusammenfassungen erstellt oder das wichtigste Sentiment für jede Rezension ermittelt.
  • Intelligente Such- und Abrufsysteme: Suchsysteme für eine Datenbank mit interner Wissensdatenbank erstellen und mit KI-basierten SQL-Operatoren anstelle von Keywords abfragen.
  • Personalisierte Nutzererfahrung: Optimieren Sie eine Content-Plattform, um dynamisch zu personalisieren, welche Inhalte jedem Nutzer basierend auf seinen bisherigen Interaktionen angezeigt werden.

Weitere Informationen zu AlloyDB AI-Anwendungsfällen finden Sie unter AlloyDB AI-Anwendungsfälle.

Funktionsweise

Mit der Verwaltung von Modellendpunkten können Sie einen Modellendpunkt registrieren, der den folgenden Anforderungen entspricht:

  • Die Eingabe und Ausgabe des Modells unterstützt das JSON-Format.
  • Das Modell kann über das REST-Protokoll aufgerufen werden.

Wenn Sie einen Modellendpunkt in der Modellendpunktverwaltung registrieren, wird jeder Endpunkt mit einer eindeutigen Modell-ID registriert, die Sie als Referenz für das Modell angegeben haben.

Sie können die Modellendpunkt-ID verwenden, um Modelle für Folgendes abzufragen:

  • Einbettungen generieren, um Text-Prompts in numerische Vektoren zu übersetzen. Sie können generierte Einbettungen als Vektordaten speichern, wenn die vector-Erweiterung in der Datenbank aktiviert ist. Weitere Informationen finden Sie unter Einbettungen mit pgvector abfragen und indexieren.

  • Multimodale Einbettungen generieren, um multimodale Daten wie Text, Bilder und Videos in Einbettungen zu übersetzen. (Vorschau)

  • Sie können eine Liste von Elementen in einer Anfrage anhand eines Kriteriums, das in natürlicher Sprache angegeben wird, in eine bestimmte Reihenfolge bringen oder bewerten. (Vorschau)

  • Vorhersagen mit SQL aufrufen.

Wichtige Konzepte

Bevor Sie mit der Verwaltung von Modellendpunkten beginnen, sollten Sie sich mit den Konzepten vertraut machen, die für die Verbindung zu den Modellen und deren Verwendung erforderlich sind.

Schemas

Ihre Anwendungen können mit der Erweiterung google_ml_integration auf die Verwaltung von Modellendpunkten zugreifen. Die google_ml_integration-Erweiterung enthält Funktionen im public-, google_ml- und ai-Schema. Alle Funktionen sind im google_ml-Schema enthalten. Bestimmte Funktionen sind auch in den Schemas public und ai verfügbar.

Weitere Informationen zu Schemas finden Sie unter Schemas.

Modellanbieter

Unter Modellanbieter sind die unterstützten Anbieter für das Modell-Hosting aufgeführt. Das Festlegen des Modellanbieters ist optional, hilft aber bei der Verwaltung von Modellendpunkten, da der Anbieter identifiziert und Header für unterstützte Modelle automatisch formatiert werden.

Weitere Informationen zum Modellanbieter finden Sie unter Modellanbieter.

Modelltyp

Modelltyp gibt den Typ des KI-Modells an. Die Erweiterung unterstützt Texteinbettung sowie alle generischen Modelltypen. Die unterstützten Modelltypen, die Sie beim Registrieren eines Modellendpunkts festlegen können, sind text-embedding und generic.

Das Festlegen des Modelltyps ist optional, wenn Sie generische Modellendpunkte registrieren, da generic der Standardmodelltyp ist.

Weitere Informationen zum Modelltyp finden Sie unter Modelltyp.

Authentifizierung

Auth types (Authentifizierungstypen) gibt den Authentifizierungstyp an, den Sie verwenden können, um mit der google_ml_integration-Erweiterung eine Verbindung zur Modellendpunktverwaltung herzustellen. Die Authentifizierung ist optional und nur erforderlich, wenn Sie sich authentifizieren müssen, um auf Ihr Modell zuzugreifen.

Weitere Informationen zur Authentifizierung finden Sie unter Authentifizierung.

Vorhersagefunktionen

Vorhersagefunktionen sind SQL-Funktionen, mit denen Sie über Ihre AlloyDB-Datenbank mit KI-Modellen interagieren können. Mit diesen Funktionen können Sie Standard-SQL-Abfragen verwenden, um Daten an einen Modellendpunkt zu senden und Einbettungen oder Vorhersagen zu generieren.

Weitere Informationen zu Vorhersagefunktionen finden Sie unter Vorhersagefunktionen.

Operatorfunktionen

Die google_ml_integration-Erweiterung umfasst die folgenden Operatorfunktionen, die standardmäßig Gemini verwenden, um mithilfe von KI-basierten SQL-Operatoren Abfragen auszuführen.

Weitere Informationen zu Operatorfunktionen finden Sie unter Operatorfunktionen.

Transformationsfunktionen

Transformationsfunktionen ändern die Eingabe in ein Format, das das Modell versteht, und wandeln die Modellantwort in das Format um, das die Vorhersagefunktion erwartet. Die Transformationsfunktionen werden verwendet, wenn der text-embedding-Modellendpunkt ohne integrierte Unterstützung registriert wird. Die Signatur der Transformationsfunktionen hängt von der Eingabe ab, die vom Modell erwartet wird.

Weitere Informationen zu Transformationsfunktionen finden Sie unter Transformationsfunktionen.

Funktion zum Generieren von HTTP-Headern

Die Funktion zur Generierung von HTTP-Headern gibt die Ausgabe in JSON-Schlüssel/Wert-Paaren aus, die als HTTP-Header verwendet werden. Die Signatur der Vorhersagefunktion definiert die Signaturen der Header-Generierungsfunktion.

Weitere Informationen zur Funktion zum Generieren von HTTP-Headern finden Sie unter Funktion zum Generieren von HTTP-Headern.

Nächste Schritte