Vertex AI bietet eine Reihe von APIs, mit denen Sie eigene RAG-Anwendungen (Retrieval Augmented Generation) oder eine eigene Suchmaschine erstellen können. Auf dieser Seite werden diese APIs vorgestellt.
Abruf und Generierung
RAG ist eine Methode, mit der Large Language Models (LLMs) Antworten generieren können, die auf Ihrer ausgewählten Datenquelle basieren. RAG besteht aus zwei Phasen:
- Abruf: Das schnelle Auffinden der relevantesten Fakten kann ein häufiges Problem bei der Suche sein. Mit RAG können Sie schnell die Fakten abrufen, die für die Generierung einer Antwort wichtig sind.
- Generierung:Die abgerufenen Fakten werden vom LLM verwendet, um eine fundierte Antwort zu generieren.
Vertex AI bietet Optionen für beide Phasen, um den unterschiedlichen Anforderungen von Entwicklern gerecht zu werden.
Abruf
Wählen Sie die für Ihre Anforderungen am besten geeignete Abrufmethode aus:
Vertex AI Search:Vertex AI Search ist eine Engine zum Abrufen von Informationen in Google-Suchqualität, die in jeder generativen KI-Anwendung, die Ihre Unternehmensdaten nutzt, verwendet werden kann. Vertex AI Search funktioniert als sofort einsatzfähige semantische Suchmaschine und Keyword-Suchmaschine für RAG. Sie kann eine Vielzahl von Dokumenttypen verarbeiten und bietet Connectors für eine Vielzahl von Quellsystemen, darunter BigQuery und viele Drittanbietersysteme.
Weitere Informationen finden Sie unter Vertex AI Search.
Eigenen Abruf erstellen:Wenn Sie Ihre semantische Suche selbst erstellen möchten, können Sie sich auf Vertex AI-APIs für Komponenten Ihres benutzerdefinierten RAG-Systems verlassen. Diese API-Suite bietet hochwertige Implementierungen für das Parsen von Dokumenten, die Generierung von Einbettungen, die Vektorsuche und das semantische Ranking. Die Verwendung dieser APIs auf niedrigerer Ebene bietet Ihnen volle Flexibilität bei der Gestaltung Ihres Retrievers und ermöglicht gleichzeitig eine schnellere Markteinführung und hohe Qualität, da sie auf Vertex AI-APIs auf niedrigerer Ebene basieren.
Weitere Informationen finden Sie unter Eigene Retrieval Augmented Generation erstellen.
Vorhandenen Retriever verwenden: Sie können Ihre vorhandene Suche als Retriever für die fundierte Generierung verwenden. Sie können auch die Vertex-APIs für RAG verwenden, um die Qualität Ihrer vorhandenen Suche zu verbessern. Weitere Informationen finden Sie unter Fundierungsübersicht.
Vertex AI RAG Engine: Die Vertex AI RAG Engine bietet eine vollständig verwaltete Laufzeit für die RAG-Orchestrierung, mit der Entwickler RAG für die Verwendung in Produktions- und unternehmensbereiten Kontexten erstellen können.
Weitere Informationen finden Sie in der Dokumentation zu generativer KI in Vertex AI unter Vertex AI RAG Engine – Übersicht.
Google Suche: Wenn Sie die Fundierung mit der Google Suche für Ihr Gemini-Modell verwenden, nutzt Gemini die Google Suche und generiert eine Ausgabe, die auf den relevanten Suchergebnissen basiert. Für diese Abrufmethode ist keine Verwaltung erforderlich und Sie haben Zugriff auf das gesamte Wissen der Welt, das Gemini zur Verfügung steht.
Weitere Informationen finden Sie in der Dokumentation zu generativer KI in Vertex AI unter Fundierung mit der Google Suche.
Generierung
Wählen Sie die für Ihre Anforderungen am besten geeignete Methode aus:
Fundierung mit Ihren Daten: Generieren Sie fundierte Antworten auf die Anfrage eines Nutzers. Die API für fundierte Generierung verwendet spezielle, feinabgestimmte Gemini-Modelle und ist eine effektive Methode, um Halluzinationen zu reduzieren und Antworten zu liefern, die auf Ihren Quellen oder Drittanbieterquellen basieren, einschließlich Verweisen auf unterstützende Inhalte.
Weitere Informationen finden Sie unter Fundierte Antworten mit RAG generieren.
Sie können Antworten auch mit Ihren Vertex AI Search-Daten fundieren, indem Sie Generative AI in Vertex AI verwenden. Weitere Informationen finden Sie unter Mit Ihren Daten fundieren.
Fundierung mit der Google Suche:Gemini ist das leistungsstärkste Modell von Google und bietet eine sofort einsatzbereite Fundierung mit der Google Suche. Damit können Sie eine vollständig benutzerdefinierte Lösung für die fundierte Generierung erstellen.
Weitere Informationen finden Sie in der Dokumentation zu generativer KI in Vertex AI unter Fundierung mit Google Suche.
Model Garden:Wenn Sie die vollständige Kontrolle und das Modell Ihrer Wahl wünschen, können Sie für die Generierung ein beliebiges Modell aus dem Vertex AI Model Garden verwenden.
Eigene Retrieval-Augmented Generation erstellen
Die Entwicklung eines benutzerdefinierten RAG-Systems für die Fundierung bietet Flexibilität und Kontrolle in jedem Schritt des Prozesses. Vertex AI bietet eine Reihe von APIs, mit denen Sie eigene Suchlösungen erstellen können. Mit diesen APIs haben Sie die volle Flexibilität bei der Gestaltung Ihrer RAG-Anwendung. Gleichzeitig können Sie die Markteinführungszeit beschleunigen und die Qualität steigern, indem Sie sich auf diese Vertex AI-APIs auf niedrigerer Ebene verlassen.
Document AI-Layoutparser Der Document AI Layout Parser wandelt Dokumente in verschiedenen Formaten in strukturierte Darstellungen um. So werden Inhalte wie Absätze, Tabellen, Listen und strukturelle Elemente wie Überschriften, Seitenkopf- und ‑fußzeilen zugänglich gemacht. Außerdem werden kontextsensitive Blöcke erstellt, die das Abrufen von Informationen in einer Reihe von Anwendungen für generative KI und Discovery erleichtern.
Weitere Informationen finden Sie in der Document AI-Dokumentation unter Document AI Layout Parser.
Embeddings API:Mit den Vertex AI Embeddings APIs können Sie Einbettungen für Text- oder multimodale Eingaben erstellen. Einbettungen sind Vektoren von Gleitkommazahlen, die die Bedeutung ihrer Eingabe erfassen sollen. Sie können die Einbettungen für die semantische Suche mit der Vektorsuche verwenden.
Weitere Informationen finden Sie in der Dokumentation zu Generative AI auf Vertex AI unter Texteinbettungen und Multimodale Einbettungen.
Vektorsuche: Die Abruf-Engine ist ein wichtiger Bestandteil Ihrer RAG- oder Suchanwendung. Die Vektorsuche in Vertex AI ist eine Abruf-Engine, die in Milliarden von semantisch ähnlichen oder semantisch verwandten Elementen suchen kann. Sie bietet eine hohe QPS (Queries per Second, Abfragen pro Sekunde), einen hohen Recall, eine niedrige Latenz und Kosteneffizienz. Sie kann nach dichten Einbettungen suchen und unterstützt die Stichwortsuche mit dünnbesetzten Einbettungen sowie die Hybridsuche in der öffentlichen Vorschau.
Weitere Informationen finden Sie in der Übersicht über die Vektorsuche in Vertex AI in der Dokumentation zu Vertex AI.
Ranking API Die Ranking API nimmt eine Liste von Dokumenten entgegen und ordnet sie neu, je nachdem, wie relevant die Dokumente für eine bestimmte Anfrage sind. Im Vergleich zu Einbettungen, bei denen nur die semantische Ähnlichkeit eines Dokuments und einer Anfrage berücksichtigt wird, kann die Ranking API einen genaueren Wert dafür liefern, wie gut ein Dokument eine bestimmte Anfrage beantwortet.
Weitere Informationen finden Sie unter Such- und RAG-Qualität mit Ranking API verbessern.
Die API für fundierte Generierung Mit der API für fundierte Generierung können Sie fundierte Antworten auf einen Nutzer-Prompt generieren. Die Fundierungsquellen können Ihre Vertex AI Search-Datenspeicher, benutzerdefinierte Daten, die Sie bereitstellen, oder die Google Suche sein.
Weitere Informationen finden Sie unter Fundierte Antworten generieren.
Die API zum Generieren von Inhalten Mit der API zum Generieren von Inhalten können Sie fundierte Antworten auf einen Nutzer-Prompt generieren. Die Fundierungsquellen können Ihre Vertex AI Search-Datenspeicher oder die Google Suche sein.
Weitere Informationen finden Sie unter Mit der Google Suche fundieren oder Mit Ihren Daten fundieren.
Die Check Grounding API Mit der API zum Prüfen der Fundierung wird ermittelt, wie fundiert ein bestimmter Text in einer bestimmten Gruppe von Referenztexten ist. Die API kann unterstützende Zitationen aus dem Referenztext generieren, um anzugeben, wo der angegebene Text durch die Referenztexte belegt wird. Die API kann unter anderem verwendet werden, um die Fundierung von Antworten aus einem RAG-System zu bewerten. Als experimentelle Funktion generiert die API außerdem widersprüchliche Zitationen, die zeigen, wo sich der angegebene Text und die Referenztexte unterscheiden.
Weitere Informationen finden Sie unter Fundierung prüfen.
Workflow: Fundierte Antworten aus unstrukturierten Daten generieren
Hier ist ein Workflow, der beschreibt, wie Sie die Vertex AI RAG-APIs einbinden, um fundierte Antworten aus unstrukturierten Daten zu generieren.
- Importieren Sie Ihre unstrukturierten Dokumente wie PDF-Dateien, HTML-Dateien oder Bilder mit Text an einen Cloud Storage-Speicherort.
- Verarbeiten Sie die importierten Dokumente mit dem Layout-Parser. Der Layout-Parser zerlegt die unstrukturierten Dokumente in Chunks und wandelt die unstrukturierten Inhalte in ihre strukturierte Darstellung um. Der Layout-Parser extrahiert auch Anmerkungen aus den Chunks.
- Texteinbettungen für Chunks erstellen mit der Vertex AI Text Embeddings API.
- Indexieren und Abrufen der Chunks mit Vektorsuche.
- Ordnen Sie die Chunks mit der Ranking API und ermitteln Sie die am besten bewerteten Chunks.
- Generieren Sie fundierte Antworten basierend auf den am besten bewerteten Chunks mit der API für fundierte Generierung oder der API zum Generieren von Inhalten.
Wenn Sie die Antworten mit einem anderen Modell zur Antwortgenerierung als den Google-Modellen generiert haben, können Sie die Fundierung dieser Antworten mit der Methode „Fundierung prüfen“ überprüfen.