LangChain in Vertex AI (Vorabversion) bietet den Vorteil, die LangChain-Open-Source-Bibliothek zum Erstellen benutzerdefinierter Generative AI-Anwendungen zu verwenden und Vertex AI für Modelle, Tools und Bereitstellung zu nutzen. Mit LangChain in Vertex AI (Vorabversion) können Sie die folgenden Schritte ausführen:
- Wählen Sie das Large Language Model (LLM) aus, mit dem Sie arbeiten möchten.
- Definieren Sie Tools für den Zugriff auf externe APIs.
- Strukturieren Sie die Schnittstelle zwischen dem Nutzer und den Systemkomponenten in einem Orchestration-Framework.
- Framework für eine verwaltete Laufzeit bereitstellen.
Vorteile
- Anpassbar: Durch die Verwendung der standardisierten Schnittstellen von LangChain kann LangChain in Vertex AI für die Entwicklung verschiedener Arten von Anwendungen verwendet werden. Sie können die Logik Ihrer Anwendung anpassen und beliebige Frameworks einbinden, was für eine hohe Flexibilität sorgt.
- Einfachere Bereitstellung: LangChain in Vertex AI verwendet dieselben APIs wie LangChain, um mit LLMs zu interagieren und Anwendungen zu erstellen. LangChain in Vertex AI vereinfacht und beschleunigt die Bereitstellung mit Vertex AI-LLMs, da die Laufzeit der Reasoning Engine die Bereitstellung mit nur einem Klick unterstützt, um eine konforme API basierend auf Ihrer Bibliothek zu generieren.
- Einbindung in Vertex AI-Umgebungen: Die Reasoning Engine für LangChain in Vertex AI nutzt die Infrastruktur und die vordefinierten Container von Vertex AI, um die Bereitstellung Ihrer LLM-Anwendung zu unterstützen. Sie können die Vertex AI API für die Einbindung in Gemini-Modelle, Funktionsaufrufe und Erweiterungen verwenden.
- Sicher, privat und skalierbar: Sie können einen einzelnen SDK-Aufruf verwenden, anstatt den Entwicklungsprozess selbst zu verwalten. Die verwaltete Reasoning Engine-Laufzeit nimmt Ihnen Aufgaben wie die Anwendungsserverentwicklung, die Containererstellung und die Konfiguration der Authentifizierung, IAM und Skalierung ab. Vertex AI kümmert sich um Autoscaling, regionale Erweiterung und Container-Sicherheitslücken.
Anwendungsfälle
Weitere Informationen zu LangChain in Vertex AI mit End-to-End-Beispielen finden Sie in den folgenden Ressourcen:
| Anwendungsfall | Beschreibung | Links |
|---|---|---|
| Generative KI-Anwendungen erstellen, indem eine Verbindung zu öffentlichen APIs hergestellt wird | Währungen umrechnen. Erstellen Sie eine Funktion, die eine Verbindung zu einer Währungsaustauschanwendung herstellt, damit das Modell korrekte Antworten auf Anfragen wie „Wie hoch ist der Wechselkurs von Euro zu Dollar heute?“ liefert. |
Vertex AI SDK für Python-Notebook – Einführung in das Erstellen und Bereitstellen eines Agents mit einer Reasoning Engine |
| Design eines Solarprojekts für eine Gemeinde Potenzielle Standorte ermitteln, zuständige Behörden und Lieferanten suchen, Satellitenbilder und Solarpotenzial von Regionen und Gebäuden prüfen, um den optimalen Standort für die Installation von Solarmodulen zu finden. |
Vertex AI SDK für Python-Notebook – Einen Google Maps API-Agent mit der Vertex AI Reasoning Engine erstellen und bereitstellen | |
| Generative KI-Anwendungen erstellen, indem eine Verbindung zu Datenbanken hergestellt wird | Integration in AlloyDB und CloudSQL PostgreSQL | Blogpost – LangChain auf Vertex AI für AlloyDB und Cloud SQL für PostgreSQL Vertex AI SDK für Python-Notebook – RAG-Anwendung mit Cloud SQL for PostgreSQL in LangChain auf Vertex AI bereitstellen Vertex AI SDK für Python-Notebook – RAG-Anwendung mit AlloyDB in LangChain auf Vertex AI bereitstellen |
| Strukturierte Datenspeicher mit natürlicher Sprache abfragen und analysieren | Vertex AI SDK für Python-Notebook – Conversational Search Agent mit Vertex AI Reasoning Engine und RAG in Vertex AI Search erstellen | |
| Grafikdatenbanken mit natürlicher Sprache abfragen und analysieren | Blogpost – GenAI GraphRAG und KI-Agenten mit der Vertex AI Reasoning Engine mit LangChain und Neo4j | |
| Vektorspeicher mit natürlicher Sprache abfragen und analysieren | Blogpost – GenAI RAG mit MongoDB Atlas und Vertex AI Reasoning Engine vereinfachen | |
| Generative KI-Anwendungen mit OSS-Frameworks erstellen | Mit dem Open-Source-Framework OneTwo können Sie Agenten erstellen und bereitstellen. | Blogpost – OneTwo und Vertex AI Reasoning Engine: Entwicklung fortschrittlicher KI-Agenten in Google Cloud |
| Mit dem Open-Source-Framework LangGraph können Sie Agenten erstellen und bereitstellen. | Vertex AI SDK für Python-Notebook – LangGraph-Anwendung mit der Vertex AI Reasoning Engine erstellen und bereitstellen | |
| Fehlerbehebung und Optimierung von Anwendungen mit generativer KI | Mit OpenTelemetry und Cloud Trace können Sie Agenten erstellen und für sie Tracing ausführen. | Vertex AI SDK für Python notebook - Debugging und Optimieren von Agents: Eine Anleitung zum Tracing in Vertex AI Reasoning Engine |
Systemkomponenten
Die Erstellung und Bereitstellung einer benutzerdefinierten Generative AI-Anwendung mit OSS LangChain und Vertex AI besteht aus vier Komponenten:
| Komponente | Beschreibung |
|---|---|
| LLM |
Wenn Sie eine Suchanfrage an Ihre benutzerdefinierte Anwendung senden, verarbeitet das LLM die Anfrage und gibt eine Antwort zurück. Sie können eine Reihe von Tools definieren, die mit externen APIs kommunizieren und sie dem Modell zur Verfügung stellen. Bei der Verarbeitung einer Abfrage delegiert das Modell bestimmte Aufgaben an die Tools. Das bedeutet, dass ein oder mehrere Modellaufrufe an Grundlagenmodelle oder optimierte Modelle erforderlich sind. Weitere Informationen finden Sie unter Modellversionen und Lebenszyklus. |
| Tool |
Sie können eine Reihe von Tools definieren, die mit externen APIs (z. B. einer Datenbank) kommunizieren, und sie dem Modell zur Verfügung stellen. Bei der Verarbeitung einer Abfrage kann das Modell bestimmte Aufgaben an die Tools delegieren. Die Bereitstellung über die verwaltete Laufzeit von Vertex AI ist für die Verwendung von Tools optimiert, die auf Gemini-Funktionsaufrufen basieren, unterstützt aber auch LangChain-Tool-/Funktionsaufrufe. Weitere Informationen zu Gemini-Funktionsaufrufen finden Sie unter Funktionsaufrufe. |
| Framework für die Orchestrierung |
Mit LangChain in Vertex AI können Sie das LangChain-Orchestrierungsframework in Vertex AI verwenden. Mit LangChain können Sie festlegen, wie deterministisch Ihre Anwendung sein soll. Wenn Sie bereits LangChain verwenden, können Sie Ihren vorhandenen LangChain-Code verwenden, um Ihre Anwendung in Vertex AI bereitzustellen. Andernfalls können Sie Ihren eigenen Anwendungscode erstellen und in einem Orchestrierungsframework strukturieren, das die LangChain-Vorlagen von Vertex AI nutzt. Weitere Informationen finden Sie unter Anwendung entwickeln. |
| Verwaltete Laufzeit | Mit LangChain in Vertex AI können Sie Ihre Anwendung in einer von Reasoning Engine verwalteten Laufzeit bereitstellen. Diese Laufzeit ist ein Vertex AI-Dienst, der alle Vorteile der Vertex AI-Integration bietet: Sicherheit, Datenschutz, Beobachtbarkeit und Skalierbarkeit. Sie können Ihre Anwendung mit einem API-Aufruf in die Produktion übernehmen und skalieren, um lokal getestete Prototypen schnell in Bereitstellungen für Unternehmen umzuwandeln. Weitere Informationen finden Sie unter Anwendung bereitstellen. |
Es gibt viele verschiedene Möglichkeiten, Prototypen zu erstellen und benutzerdefinierte generative KI-Anwendungen zu erstellen, die Agent-Funktionen nutzen können, indem Sie Tools und benutzerdefinierte Funktionen zusätzlich zu Modellen wie Gemini nutzen. Wenn es Zeit ist, Ihre Anwendung in die Produktion zu übergehen, müssen Sie überlegen, wie Sie den Agent und seine zugrunde liegenden Komponenten bereitstellen und verwalten.
Mit den Komponenten von LangChain in Vertex AI können Sie sich auf die für Sie wichtigsten Aspekte der Agent-Funktionen konzentrieren und diese anpassen, z. B. benutzerdefinierte Funktionen, Agent-Verhalten und Modellparameter. Google kümmert sich um die Bereitstellung, Skalierung, Verpackung und Versionen. Wenn Sie auf einer niedrigeren Ebene im Stack arbeiten, müssen Sie möglicherweise mehr verwalten, als Sie möchten. Wenn Sie auf einer höheren Ebene im Stack arbeiten, haben Sie möglicherweise nicht so viel Entwicklerkontrolle, wie Sie möchten.
Systemablauf zur Laufzeit
Wenn der Nutzer eine Abfrage stellt, formatiert der definierte Agent sie in einen Prompt für das LLM. Der LLM verarbeitet den Prompt und bestimmt, ob eines der Tools verwendet werden soll.
Wenn das LLM ein Tool verwendet, generiert es eine FunctionCall mit dem Namen und den Parametern, mit denen das Tool aufgerufen werden soll. Der Agent ruft das Tool mit dem FunctionCall auf und stellt die Ergebnisse vom Tool zurück für das LLM bereit.
Wenn der LLM keine Tools verwendet, generiert er Inhalte, die vom Kundenservicemitarbeiter an den Nutzer weitergeleitet werden.
Das folgende Diagramm veranschaulicht den Systemablauf zur Laufzeit:
Generative AI-Anwendung erstellen und bereitstellen
Der Workflow zum Erstellen von Anwendungen mit generativer KI:
| Schritte | Beschreibung |
|---|---|
| 1. Umgebung einrichten | Richten Sie Ihr Google-Projekt ein und installieren Sie die neueste Version des Vertex AI SDK für Python. |
| 2. Anwendung entwickeln | Entwickeln Sie eine LangChain-Anwendung, die in der Reasoning Engine bereitgestellt werden kann. |
| 3. Anwendung bereitstellen | Stellen Sie die Anwendung in Reasoning Engine bereit. |
| 4. Anwendung verwenden | Reasoning Engine für eine Antwort abfragen. |
| 5. Bereitgestellte Anwendung verwalten | Hier können Sie Anwendungen verwalten und löschen, die Sie in der Reasoning Engine bereitgestellt haben. |
| 6. Optional: Anwendungsvorlage anpassen | Vorlage für neue Anwendungen anpassen |
Die Schritte werden im folgenden Diagramm veranschaulicht:
Nächste Schritte
- Umgebung einrichten
- Mehr über Funktionsaufrufe erfahren.