KI-Remote-Modelle in AlloyDB registrieren und aufrufen

Auf dieser Seite werden die wichtigsten Konzepte beschrieben, die Sie kennen müssen, bevor Sie einen Endpunkt für ein KI-Modell registrieren und Vorhersagen mit der Modellendpunktverwaltung aufrufen.

Informationen zum Registrieren von Remote-Modellendpunkten bei AlloyDB Omni finden Sie unter Remote-KI-Modelle in AlloyDB Omni registrieren und aufrufen.

Übersicht

Die Modellendpunktverwaltung ist eine AlloyDB-KI-Funktion mit Funktionen und Operatoren, mit denen Sie Metadaten von KI-Modellen registrieren und verwalten können. Sie können einen Modellendpunkt registrieren, Modellendpunktmetadaten in Ihrem Datenbankcluster verwalten und mithilfe von SQL-Abfragen die Remote-Modellendpunkte aufrufen.

Die Modellendpunktverwaltung bietet die Erweiterung google_ml_integration mit Funktionen, mit denen Sie die Metadaten zu KI-Modellen in AlloyDB registrieren können. Diese registrierten Metadaten werden verwendet, um Vektor-Embeddings zu generieren oder Vorhersagen aufzurufen.

Die AlloyDB AI-Abfrage-Engine ist eine Suite von Funktionen, die auf der Modellendpunktverwaltung (Vorabversion) aufbauen und KI-Operatoren unterstützen, mit denen Sie natürliche Sprachphrasen mit SQL-Abfragen kombinieren können, z. B. ai.if() für Filter und Joins, ai.rank() für die Sortierung und ai.generate() zum Generieren von Zusammenfassungen Ihrer Daten. Außerdem wird die Unterstützung für multimodale und Ranking-Modelle von Vertex AI hinzugefügt.

Im Folgenden finden Sie einige Beispiele für Modelltypen, die Sie mithilfe der Modellendpunktverwaltung registrieren können:

  • Vertex AI-Modelle für die Texteinbettung und generische Modelle
  • Vertex AI-Multimodal-Modell (Vorabversion)
  • Vertex AI-Rangfolgemodelle (Vorabversion)
  • Einbetten von Modellen von Drittanbietern wie Hugging Face oder OpenAI
  • Benutzerdefinierte gehostete Modelle für Text-Embeddings, einschließlich selbst gehosteter Modelle oder Modelle, die über private Endpunkte verfügbar sind
  • Generische Modelle mit einer JSON-basierten API, z. B. das facebook/bart-large-mnli-Modell, das auf Hugging Face gehostet wird, das gemini-pro-Modell aus dem Vertex AI Model Garden oder claude-Modelle von Anthropic

Anwendungsfälle

Sie können die registrierten Modellendpunkte aufrufen, um mit vorhandenen Daten in Ihrer Datenbank zu interagieren und Einbettungen oder Vorhersagen zu generieren. Beispiele für Anwendungsfälle:

  • Echtzeitinferenz mit Transaktionsanwendung: Bietet Echtzeitempfehlungen basierend auf dem aktuellen Browserverlauf und den Inhalten im Einkaufswagen des Nutzers.
  • Sentiment identifizieren und Zusammenfassungen generieren: Für eine Datenbank mit Kundenrezensionen werden Zusammenfassungen generiert oder das Hauptsentiment für jede Rezension ermittelt.
  • Intelligente Such- und Abrufsysteme: Erstellen Sie Suchsysteme für eine Datenbank mit einer internen Wissensdatenbank und verwenden Sie in SQL-Operatoren natürliche Sprache anstelle von Keywords.
  • Personalisierte Nutzererfahrung: Optimieren Sie eine Contentplattform, um die Inhalte, die jedem Nutzer angezeigt werden, dynamisch anhand seiner bisherigen Interaktionen zu personalisieren.

Weitere Informationen zu Anwendungsfällen für AlloyDB AI finden Sie unter AlloyDB AI – Anwendungsfälle.

Funktionsweise

Mit der Modellendpunktverwaltung können Sie einen Modellendpunkt registrieren, der Folgendes erfüllt:

  • Für die Modelleingabe und -ausgabe wird das JSON-Format unterstützt.
  • Das Modell kann über das REST-Protokoll aufgerufen werden.

Wenn Sie einen Modellendpunkt bei der Modellendpunktverwaltung registrieren, wird jeder Endpunkt mit einer eindeutigen Modell-ID registriert, die Sie als Referenz für das Modell angegeben haben.

Sie können die Modellendpunkt-ID verwenden, um Modelle abzufragen und Folgendes zu tun:

  • Erstellen Sie Einbettungen, um Textprompts in numerische Vektoren umzuwandeln. Sie können generierte Einbettungen als Vektordaten speichern, wenn die vector-Erweiterung in der Datenbank aktiviert ist. Weitere Informationen finden Sie unter Einbettungen mit pgvector abfragen und indexieren.

  • Multimodale Einbettungen generieren, um multimodale Daten wie Text, Bilder und Videos in Einbettungen umzuwandeln. (Vorschau)

  • Eine Liste von Elementen in einer Abfrage anhand von Kriterien in natürlicher Sprache bewerten oder sortieren. (Vorschau)

  • Vorhersagen mit SQL aufrufen

Wichtige Konzepte

Bevor Sie die Modellendpunktverwaltung verwenden, sollten Sie sich mit den Konzepten vertraut machen, die für die Verbindung zu den Modellen und deren Verwendung erforderlich sind.

Schemas

Ihre Anwendungen können über die google_ml_integration-Erweiterung auf die Modellendpunktverwaltung zugreifen. Die google_ml_integration-Erweiterung enthält Funktionen im public-, google_ml- und ai-Schema. Alle Funktionen sind im google_ml-Schema enthalten. Bestimmte Funktionen sind auch in den public- und ai-Schemas verfügbar.

Weitere Informationen zu Schemas finden Sie unter Schemas.

Modellanbieter

Unter Modellanbieter werden die unterstützten Anbieter des Modell-Hostings angegeben. Das Festlegen des Modellanbieters ist optional, erleichtert aber die Verwaltung von Modellendpunkten, da der Anbieter identifiziert und Header für unterstützte Modelle automatisch formatiert werden.

Weitere Informationen zum Modellanbieter finden Sie unter Modellanbieter.

Modelltyp

Modelltyp gibt den Typ des KI-Modells an. Die Erweiterung unterstützt die Texteinbettung sowie jeden generischen Modelltyp. Die unterstützten Modelltypen, die Sie beim Registrieren eines Modellendpunkts festlegen können, sind text-embedding und generic.

Das Festlegen des Modelltyps ist beim Registrieren von Endpunkten für generische Modelle optional, da generic der Standardmodelltyp ist.

Weitere Informationen zum Modelltyp finden Sie unter Modelltyp.

Authentifizierung

Authentifizierungstypen geben den Authentifizierungstyp an, mit dem Sie über die Erweiterung google_ml_integration eine Verbindung zur Endpunktverwaltung des Modells herstellen können. Die Authentifizierung ist optional und nur erforderlich, wenn Sie sich authentifizieren müssen, um auf Ihr Modell zuzugreifen.

Weitere Informationen zur Authentifizierung finden Sie unter Authentifizierung.

Vorhersagefunktionen

Prognosefunktionen sind SQL-Funktionen, mit denen Sie über Ihre AlloyDB-Datenbank mit KI-Modellen interagieren können. Mit diesen Funktionen können Sie Standard-SQL-Abfragen verwenden, um Daten an einen Modellendpunkt zu senden und Einbettungen oder Vorhersagen zu generieren.

Weitere Informationen zu Prognosefunktionen finden Sie unter Prognosefunktionen.

Operatorfunktionen

Die google_ml_integration-Erweiterung umfasst die folgenden Operatorfunktionen, bei denen standardmäßig Gemini verwendet wird, um natürliche Sprache in SQL-Operatoren zu verwenden.

Weitere Informationen zu Operatorfunktionen finden Sie unter Operatorfunktionen.

Transformationsfunktionen

Transformierungsfunktionen ändern die Eingabe in ein Format, das vom Modell verstanden wird, und wandeln die Modellantwort in das Format um, das von der Prognosefunktion erwartet wird. Die Transformationsfunktionen werden verwendet, wenn der text-embedding-Modellendpunkt ohne integrierte Unterstützung registriert wird. Die Signatur der Transformationsfunktionen hängt von der vom Modell erwarteten Eingabe ab.

Weitere Informationen zu Transformationsfunktionen finden Sie unter Transformationsfunktionen.

Funktion zum Generieren von HTTP-Headern

Die Funktion zum Generieren von HTTP-Headern generiert die Ausgabe in JSON-Schlüssel/Wert-Paaren, die als HTTP-Header verwendet werden. Die Signatur der Vorhersagefunktion definiert die Signaturen der Funktion zur Headergenerierung.

Weitere Informationen zur Funktion zum Generieren von HTTP-Headern finden Sie unter Funktion zum Generieren von HTTP-Headern.

Nächste Schritte