Anwendung mit der Gemini API in Vertex AI zu Gemini 2 migrieren

Für eine reibungslose Gemini 2-Migration empfehlen wir, die folgenden Probleme zu beheben, bevor Sie mit der Migration beginnen.

• Einstellung von Modellen: Beachten Sie die Zeitpläne für die Unterstützung und Verfügbarkeit von Modellversionen für ältere Gemini-Modelle und sorgen Sie dafür, dass die Migration abgeschlossen ist, bevor das von Ihnen verwendete Modell eingestellt wird.
• Genehmigungen für Informationssicherheit, Governance und Vorschriften: Fordern Sie proaktiv die Genehmigungen an, die Sie für Gemini 2 von Ihren Stakeholdern für Informationssicherheit, Risiko und Compliance benötigen. Achten Sie darauf, domainspezifische Risiko- und Compliance-Einschränkungen zu berücksichtigen, insbesondere in stark regulierten Branchen wie dem Gesundheitswesen und Finanzdienstleistungen. Die Gemini-Sicherheitseinstellungen unterscheiden sich je nach Gemini 2-Modell.
• Standortverfügbarkeit: Lesen Sie die Dokumentation Verfügbarkeit von generativer KI auf Google Cloud-Modellen und Partnermodellen und prüfen Sie, ob das ausgewählte Gemini 2-Modell in den Regionen verfügbar ist, in denen Sie es benötigen. Sie können auch zum globalen Endpunkt wechseln.
• Preisunterschiede aufgrund der Modalität und Tokenisierung: Sehen Sie sich die Gemini 2-Preise für alle Modalitäten (Text, Code, Bilder, Sprache) in Ihrer Anwendung an. Weitere Informationen finden Sie auf der Preisseite für Generative AI. Die Preise für die Texteingabe und ‑ausgabe in Gemini 2 werden pro Token berechnet, während die Preise für Gemini 1 pro Zeichen berechnet werden.
• Bereitgestellter Durchsatz: Wenn nötig, können Sie zusätzlichen bereitgestellten Durchsatz für Gemini 2 erwerben oder bestehende Bestellungen für bereitgestellten Durchsatz ändern.
• Überwachte Feinabstimmung: Wenn Ihre Gemini-Anwendung die überwachte Feinabstimmung verwendet, reichen Sie einen neuen Tuning-Job mit Gemini 2 ein. Wir empfehlen, mit den Standard-Hyperparametern für die Abstimmung zu beginnen, anstatt die Hyperparameterwerte zu verwenden, die Sie in früheren Gemini-Versionen verwendet haben. Der Tuning-Dienst wurde für Gemini 2 optimiert. Daher erzielen Sie mit der Wiederverwendung vorheriger Hyperparameterwerte möglicherweise nicht die besten Ergebnisse.
• Regressionstest: Beim Upgrade auf Gemini 2-Modelle gibt es drei Haupttypen von Regressionstests:
  • Code-Regressionstests: Regressionstests aus der Perspektive von Softwareentwicklung und DevOps. Diese Art von Regressionstest ist immer erforderlich.
  • Regressionstests zur Modellleistung: Regressionstests aus der Perspektive der Datenwissenschaft oder des Machine Learning. Das bedeutet, dass das neue Gemini 2-Modell Ergebnisse liefern muss, die mindestens so hochwertig sind wie die des aktuellen Produktionsmodells. Regressionstests zur Modellleistung sind nur Modellbewertungen, die im Rahmen einer Änderung an einem System oder am zugrunde liegenden Modell durchgeführt werden. Regressionstests zur Modellleistung lassen sich weiter unterteilen in:
    • Offline-Modellleistungstests: Bewertung der Qualität der Modellausgaben in einer speziellen Testumgebung anhand verschiedener Messwerte zur Qualität der Modellausgaben.
    • Online-Modellleistungstests: Die Qualität der Modellergebnisse bei einer Live-Online-Bereitstellung anhand impliziten oder expliziten Nutzerfeedbacks bewerten.
  • Lasttests: Hier wird geprüft, wie die Anwendung mit einer großen Anzahl von Inferenzanfragen umgeht. Dieser Regressionstest ist für Anwendungen erforderlich, für die ein bereitgestellter Durchsatz erforderlich ist.

1. Bereiten Sie sich darauf vor, alle relevanten Bewertungen aus der Zeit zu wiederholen, als Sie Ihre Anwendung ursprünglich erstellt haben, sowie alle relevanten Bewertungen, die Sie seitdem durchgeführt haben.
2. Wenn Sie der Meinung sind, dass Ihre vorhandenen Bewertungen den Umfang der Aufgaben, die Ihre Anwendung ausführt, nicht angemessen abdecken oder messen, sollten Sie zusätzliche Bewertungen entwerfen und vorbereiten.
3. Wenn Ihre Anwendung die Bewertungsskala, die Verwendung von Tools, komplexe Workflows für Kundenservicemitarbeiter oder Prompt-Ketten umfasst, müssen Ihre vorhandenen Bewertungsdaten es ermöglichen, jede Komponente unabhängig zu bewerten. Falls nicht, sammeln Sie Eingabe-/Ausgabebeispiele für jede Komponente.
4. Wenn Ihre Anwendung besonders wirkungsvoll ist oder Teil eines größeren nutzerorientierten Echtzeitsystems ist, sollten Sie eine Onlinebewertung einbeziehen.

Wenn Sie in Ihrer Gemini 1.x-Anwendung das Vertex AI SDK verwenden, sollten Sie auf das Gen AI SDK umstellen. Neue Gemini 2-Funktionen sind nur im Gen AI SDK verfügbar. Sie müssen jedoch nicht zum Gen AI SDK wechseln, wenn für Ihre Anwendung nur Funktionen erforderlich sind, die im Vertex AI SDK verfügbar sind.

Wenn Sie das Gen AI SDK noch nicht kennen, lesen Sie das Notebook Erste Schritte mit der generativen KI von Google und dem Gen AI SDK.

pip install --upgrade google-genai

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True

from google import genai
from google.genai.types import HttpOptions

client = genai.Client(http_options=HttpOptions(api_version="v1"))
response = client.models.generate_content(
model="gemini-2.5-flash",
contents="How does AI work?",
)
print(response.text)

# Example response:
# Okay, let's break down how AI works. It's a broad field, so I'll focus on the ...
# Here's a simplified overview:
# ...

 pip install --upgrade --quiet google-cloud-aiplatform 

 
import vertexai
from vertexai.generative_models import GenerativeModel

# TODO(developer): Update and un-comment below line
# PROJECT_ID = "your-project-id"
vertexai.init(project=PROJECT_ID, location="us-central1")

model = GenerativeModel("gemini-2.0-flash-001")

response = model.generate_content(
    "What's a good name for a flower shop that specializes in selling bouquets of dried flowers?"
)

print(response.text)
# Example response:
# **Emphasizing the Dried Aspect:**
# * Everlasting Blooms
# * Dried & Delightful
# * The Petal Preserve
# ...

Gemini-Anrufe ändern

Ändern Sie Ihren Vorhersagecode, damit Gemini 2 verwendet wird. Das bedeutet mindestens, dass Sie den Namen des Modellendpunkts in ein Gemini 2-Modell ändern müssen, in das Sie Ihr Modell laden.

Die genaue Codeänderung hängt davon ab, wie Sie Ihre Anwendung ursprünglich implementiert haben und insbesondere, ob Sie das Gen AI SDK oder das Vertex AI SDK verwendet haben.

Führen Sie nach den Codeänderungen Code-Regressionstests und andere Softwaretests durch, um sicherzustellen, dass der Code funktioniert. Dieser Test soll nur prüfen, ob der Code richtig funktioniert. Sie ist nicht dazu gedacht, die Qualität der Modellantworten zu bewerten.

Änderungen am Code für Unterbrechungen

• Dynamische Abfrage: Verwenden Sie stattdessen die Fundierung mit der Google Suche. Für diese Funktion ist das Gen AI SDK erforderlich. Das Vertex AI SDK wird nicht unterstützt.
• Inhaltsfilter: Beachten Sie die Standardeinstellungen für Inhaltsfilter und ändern Sie Ihren Code, wenn er auf einer Standardeinstellung basiert, die sich geändert hat.
• Top-K-Token-Stichprobenparameter: Bei Modellen nach gemini-1.0-pro-vision kann der Parameter Top-K nicht geändert werden.

Konzentrieren Sie sich in diesem Schritt nur auf Codeänderungen. Möglicherweise müssen Sie noch weitere Änderungen vornehmen. Warten Sie jedoch, bis Sie mit der Bewertung beginnen, und nehmen Sie dann anhand der Ergebnisse die folgende Anpassung vor:

• Wenn Sie vom dynamischen Abruf zum Abruf über die Google Suche wechseln, müssen Sie möglicherweise mit Systemanweisungen experimentieren, um festzulegen, wann die Google Suche verwendet wird (z. B. "Only generate queries for the Google Search tool if the user asks about sports. Don't generate queries for any other topic."). Warten Sie jedoch, bis Sie die Ergebnisse ausgewertet haben, bevor Sie Änderungen vornehmen.
• Wenn Sie den Parameter Top-K verwendet haben, passen Sie andere Parameter für die Tokenstichprobenerhebung an, z. B. Top-P, um ähnliche Ergebnisse zu erzielen.

Wiederholen Sie die Bewertung, die Sie bei der ursprünglichen Entwicklung und Einführung Ihrer Anwendung durchgeführt haben, sowie alle weiteren Offlinebewertungen, die Sie nach der Einführung durchgeführt haben, und alle zusätzlichen Bewertungen, die Sie in Schritt 1 identifiziert haben. Wenn Sie der Meinung sind, dass Ihre Bewertung die Breite und Tiefe Ihrer Anwendung nicht vollständig erfasst, führen Sie eine weitere Bewertung durch.

Wenn Sie keine automatisierte Möglichkeit haben, Ihre Offlinebewertungen auszuführen, können Sie den Gen AI Evaluation Service verwenden.

Wenn in Ihrer Anwendung eine Feinabstimmung verwendet wird, führen Sie eine Offlinebewertung durch, bevor Sie Ihr Modell mit Gemini 2 neu abstimmen. Die verbesserte Ausgabequalität von Gemini 2 kann bedeuten, dass für Ihre Anwendung kein optimiertes Modell mehr erforderlich ist.

Wenn Ihre Offlinebewertung einen Leistungsabfall mit Gemini 2 zeigt, nehmen Sie folgende Änderungen an Ihrer Anwendung vor, bis die Leistung von Gemini der des älteren Modells entspricht:

• Optimieren Sie Ihre Prompts iterativ, um die Leistung zu verbessern („Hill Climbing“). Wenn Sie mit dem Hill-Climbing-Verfahren noch nicht vertraut sind, sehen Sie sich das Onlinetraining für Hill Climbing mit Vertex Gemini an. Der Vertex AI Prompt Optimizer (Beispiel-Notebook) kann ebenfalls hilfreich sein.
• Wenn für Ihre Anwendung bereits eine Feinabstimmung erforderlich ist, können Sie Gemini 2 optimieren.
• Wenn sich die Änderungen am dynamischen Abrufen und an Top-K auf Ihre Anwendung auswirken, können Sie die Parameter für Prompt- und Token-Stichprobenerhebung ändern.

Wenn für Ihre Anwendung ein bestimmter Mindestdurchsatz erforderlich ist, führen Sie Lasttests durch, um sicherzustellen, dass die Gemini 2-Version Ihrer Anwendung Ihre Durchsatzanforderungen erfüllt.

Lasttests sollten vor der Onlinebewertung durchgeführt werden, da für die Onlinebewertung Produktionstraffic auf Gemini 2 geleitet werden muss. Verwenden Sie Ihre vorhandenen Tools für Lasttests, um diesen Schritt auszuführen.

Wenn Ihre Anwendung bereits die Durchsatzanforderungen erfüllt, sollten Sie Provisioned Throughput verwenden. Sie benötigen zusätzlichen kurzfristigen bereitgestellten Durchsatz, um Lasttests durchzuführen, während Ihre bestehende Bereitstellung für bereitgestellten Durchsatz weiterhin Produktionstraffic bedient.

Fahren Sie nur dann mit der Onlinebewertung fort, wenn die Offlinebewertung eine ausreichende Gemini-Ausgabequalität und Ihre Anwendung eine Onlinebewertung erfordert.

Die Onlinebewertung ist ein Sonderfall des Onlinetests. Verwenden Sie nach Möglichkeit die vorhandenen Tools und Verfahren Ihrer Organisation für die Onlinebewertung. Beispiel:

• Wenn Ihre Organisation regelmäßig A/B-Tests durchführt, führen Sie einen A/B-Test durch, bei dem die aktuelle Implementierung Ihrer Anwendung mit der Gemini 2-Version verglichen wird.
• Wenn Ihre Organisation regelmäßig Kanarien-Releases durchführt, sollten Sie dies auch mit Gemini 2 tun und Unterschiede im Nutzerverhalten messen.

Eine Online-Bewertung kann auch durch Einbinden neuer Feedback- und Analysefunktionen in Ihre Anwendung erfolgen. Für verschiedene Anwendungen sind unterschiedliche Feedback- und Analysefunktionen geeignet. Beispiel:

• Es wurden Schaltflächen „Mag ich“ und „Mag ich nicht“ neben den Modellausgaben hinzugefügt und die Anzahl der positiven und negativen Bewertungen zwischen einem älteren Modell und Gemini 2 verglichen.
• Die Nutzer werden gebeten, die Ergebnisse des älteren Modells und von Gemini 2 nebeneinander zu vergleichen und ihren Favoriten auszuwählen.
• Wir erfassen, wie oft Nutzer ältere Modelle überschreiben oder manuell anpassen, im Vergleich zu Gemini 2-Ausgaben.

Für diese Art von Feedbackmechanismen ist es oft erforderlich, eine Gemini 2-Version Ihrer Anwendung parallel zur vorhandenen Version auszuführen. Diese parallele Bereitstellung wird manchmal als „Schattenmodus“ oder „Blue-Green-Bereitstellung“ bezeichnet.

Wenn sich die Ergebnisse der Onlinebewertung deutlich von den Ergebnissen der Offlinebewertung unterscheiden, werden in der Offlinebewertung wichtige Aspekte der Liveumgebung oder der Nutzererfahrung nicht erfasst. Verwenden Sie die Ergebnisse der Onlinebewertung, um eine neue Offlinebewertung zu entwickeln, die die Lücke schließt, die die Onlinebewertung aufgedeckt hat, und kehren Sie dann zu Schritt 3 zurück.

Wenn Sie den bereitgestellten Durchsatz verwenden, müssen Sie möglicherweise zusätzlichen kurzfristigen bereitgestellten Durchsatz erwerben, um Ihre Durchsatzanforderungen für Nutzer mit Onlinebewertung weiterhin zu erfüllen.

Sobald Ihre Bewertung zeigt, dass Gemini 2 die Leistung eines älteren Modells erreicht oder übertrifft, lehnen Sie die vorhandene Version Ihrer Anwendung zugunsten der Gemini 2-Version ab. Folgen Sie den bestehenden Verfahren Ihrer Organisation für die Produktionsbereitstellung.

Wenn Sie den bereitgestellten Durchsatz verwenden, ändern Sie die Bestellung für den bereitgestellten Durchsatz in das von Ihnen ausgewählte Gemini 2-Modell. Wenn Sie Ihre Anwendung inkrementell einführen, verwenden Sie den kurzfristig bereitgestellten Durchsatz, um die Durchsatzanforderungen für zwei verschiedene Gemini-Modelle zu erfüllen.