Vertex AI Agent Engine Memory Bank – Übersicht

Mit der Memory Bank von Vertex AI Agent Engine können Sie dynamisch langfristige Erinnerungen basierend auf den Unterhaltungen der Nutzer mit Ihrem Agent generieren. Langzeitspeicher sind personalisierte Informationen, auf die in mehreren Sitzungen für einen bestimmten Nutzer zugegriffen werden kann. Der Agent kann die Erinnerungen verwenden, um Antworten an den Nutzer zu personalisieren und die Kontinuität zwischen Sitzungen zu gewährleisten.

Die Memory Bank bietet folgende Funktionen:

  • Dauerhafter Speicher von Erinnerungen, auf die von mehreren Umgebungen aus zugegriffen werden kann. Sie können Vertex AI Agent Engine-Sitzungen und Memory Bank mit Ihrem bereitgestellten Agent in Vertex AI Agent Engine, in Ihrer lokalen Umgebung oder mit anderen Bereitstellungsoptionen verwenden.

  • LLM-basierte Extraktion von Erinnerungen aus Sitzungen.

  • Erinnerungen werden asynchron remote generiert, sodass der Agent nicht darauf warten muss.

  • Abrufen von Erinnerungen basierend auf der Ähnlichkeitssuche, die auf einen Nutzer beschränkt ist.

  • Wenn Sie die Vertex AI Agent Engine Memory Bank mit dem Agent Development Kit verwenden, liest und schreibt Ihr Agent automatisch Langzeitinformationen für Sie.

Vertex AI Agent Engine Memory Bank – konzeptionelle Übersicht

Memory Bank wird in Vertex AI Agent Engine-Sitzungen eingebunden, um Erinnerungen aus gespeicherten Sitzungen zu generieren. Das funktioniert so:

  1. (Sitzungen) CreateSession: Erstellen Sie zu Beginn jeder Unterhaltung eine neue Sitzung. Der vom Agent verwendete Unterhaltungsverlauf ist auf diese Sitzung beschränkt. Eine Sitzung enthält die chronologische Reihenfolge von Nachrichten und Aktionen (SessionEvents) für eine Interaktion zwischen einem Nutzer und Ihrem Agent. Für alle Sitzungen muss eine Nutzer-ID vorhanden sein. Die für diese Sitzung extrahierten Erinnerungen (siehe GenerateMemories) werden diesem Nutzer zugeordnet.

  2. (Sitzungen) AppendEvent: Wenn der Nutzer mit dem Agent interagiert, werden Ereignisse (z. B. Nutzernachrichten, Agent-Antworten, Tool-Aktionen) in „Sitzungen“ hochgeladen. Die Ereignisse speichern den Unterhaltungsverlauf und erstellen einen Datensatz der Unterhaltung, der zum Generieren von Erinnerungen verwendet werden kann.

  3. (Sitzungen) ListEvents: Wenn der Nutzer mit dem Agent interagiert, ruft der Agent den Unterhaltungsverlauf ab.

  4. (Memory Bank) Erinnerungen generieren oder erstellen:

    • GenerateMemories: In einem bestimmten Intervall (z. B. am Ende jeder Sitzung oder am Ende jeder Runde) kann der Agent mithilfe des Unterhaltungsverlaufs die Generierung von Erinnerungen auslösen. Fakten über den Nutzer werden automatisch aus dem Unterhaltungsverlauf extrahiert, sodass sie für aktuelle oder zukünftige Sitzungen verfügbar sind.

    • CreateMemory: Ihr Agent kann Erinnerungen direkt in die Memory Bank schreiben. Der Agent kann beispielsweise entscheiden, wann ein Speicher geschrieben werden soll und welche Informationen gespeichert werden sollen (Speicher als Tool). Verwenden Sie CreateMemory, wenn Ihr Agent mehr Kontrolle darüber haben soll, welche Fakten extrahiert werden.

  5. (Memory Bank) RetrieveMemories: Wenn der Nutzer mit Ihrem Agent interagiert, kann der Agent gespeicherte Erinnerungen zu diesem Nutzer abrufen. Sie können entweder alle Erinnerungen abrufen (einfacher Abruf) oder nur die für die aktuelle Unterhaltung relevantesten Erinnerungen (Abruf per Ähnlichkeitssuche). Anschließend können Sie die abgerufenen Erinnerungen in Ihren Prompt einfügen.

Kurzanleitungen

Erste Schritte mit Memory Bank mithilfe der folgenden Kurzanleitungen:

Sicherheitsaspekte

Zusätzlich zu den Sicherheitsverantwortlichkeiten, die unter Vertex AI – Geteilte Verantwortung beschrieben sind, sollten Sie das Risiko von Prompt-Injection und Memory Poisoning berücksichtigen, die sich auf Ihren Agenten auswirken können, wenn Sie Langzeitspeicher verwenden. Memory Poisoning tritt auf, wenn falsche Informationen im Memory Bank gespeichert werden. Der Agent kann dann in zukünftigen Sitzungen auf diese falschen oder schädlichen Informationen reagieren.

So verringern Sie das Risiko von Memory Poisoning:

  • Model Armor: Mit Model Armor können Sie Prompts prüfen, die an Memory Bank oder von Ihrem Agent gesendet werden.

  • Adversarial Testing: Testen Sie Ihre LLM-Anwendung proaktiv auf Sicherheitslücken durch Prompt-Injection, indem Sie Angriffe simulieren. Dies wird in der Regel als „Red Teaming“ bezeichnet.

  • Sandbox-Ausführung: Wenn der Agent die Möglichkeit hat, externe oder kritische Systeme auszuführen oder mit ihnen zu interagieren, sollten diese Aktionen in einer Sandbox-Umgebung mit strenger Zugriffssteuerung und manueller Überprüfung ausgeführt werden.

Weitere Informationen finden Sie unter Google-Ansatz für sichere KI-Agents.