使用 Vertex AI 中的 Gemini API 将应用迁移到 Gemini 2

为了顺利完成 Gemini 2 迁移，我们建议您在开始迁移流程之前解决以下问题。

• 模型弃用提醒：请注意旧版 Gemini 模型的模型版本支持和可用时间表，并确保在您使用的模型被弃用之前完成迁移。
• 信息安全、治理和监管审批：主动向信息安全 (InfoSec)、风险和合规性利益相关方申请 Gemini 2 所需的审批。确保涵盖特定领域的风险和合规性限制，尤其是在医疗保健和金融服务等受到严格监管的行业。请注意，Gemini 2 型号的 Gemini 安全控制有所不同。
• 提供地区：请参阅 Google Cloud 上的生成式 AI 模型和合作伙伴模型的提供情况文档，确保您选择的 Gemini 2 模型在您需要的区域提供，或者考虑改用全球端点。
• 基于模态和令牌化功能的价格差异：请查看应用中所有模态（文本、代码、图片、语音）的 Gemini 2 价格。如需了解详情，请参阅 Generative AI 价格页面。请注意，Gemini 2 文本输入和输出按令牌计价，而 Gemini 1 文本输入和输出按字符计价。
• 预配吞吐量：如有需要，请为 Gemini 2 购买额外的预配吞吐量或更改现有预配吞吐量订单。
• 监督式微调：如果您的 Gemini 应用使用监督式微调，请使用 Gemini 2 提交新的调优作业。我们建议您先使用默认的调优超参数，而不是重复使用您在之前的 Gemini 版本中使用的超参数值。我们已针对 Gemini 2 优化了调整服务。因此，重复使用之前的超参数值可能无法获得最佳结果。
• 回归测试：升级到 Gemini 2 模型时，涉及三种主要的回归测试：
  • 代码回归测试：从软件工程和 DevOps 的角度进行回归测试。此类回归测试始终是必需的。
  • 模型性能回归测试：从数据科学或机器学习的角度进行回归测试。这意味着，需要确保新 Gemini 2 模型提供的输出至少与当前生产模型的输出一样高质量。模型性能回归测试只是在对系统或底层模型进行更改时进行的模型评估。模型性能回归测试可进一步细分为：
    • 离线模型性能测试：根据各种模型输出质量指标，在专用实验环境中评估模型输出的质量。
    • 在线模型性能测试：根据隐式或显式用户反馈，评估在线实时部署中的模型输出的质量。
  • 负载测试：评估应用如何处理大量推理请求。需要预配吞吐量的应用必须进行此类回归测试。

1. 准备重复执行您在最初构建应用时以及此后进行的所有相关评估。
2. 如果您认为现有的评估无法适当地涵盖或衡量应用执行的任务范围，则应设计和准备其他评估。
3. 如果您的应用涉及 RAG、工具使用、复杂的代理工作流或提示链，请确保现有的评估数据能够独立评估每个组件。如果没有，请收集每个组件的输入-输出示例。
4. 如果您的应用影响特别大，或者是面向用户的大型实时系统的一部分，您应添加在线评估。

如果您的 Gemini 1.x 应用使用 Vertex AI SDK，不妨考虑升级到 Gen AI SDK。新的 Gemini 2 功能仅在 Gen AI SDK 中提供。不过，如果您的应用仅需要 Vertex AI SDK 中提供的功能，则无需改用 Gen AI SDK。

如果您刚开始接触 Gen AI SDK，请参阅通过 Gen AI SDK 开始使用 Google 生成式 AI 服务笔记本。

pip install --upgrade google-genai

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True

from google import genai
from google.genai.types import HttpOptions

client = genai.Client(http_options=HttpOptions(api_version="v1"))
response = client.models.generate_content(
model="gemini-2.5-flash",
contents="How does AI work?",
)
print(response.text)

# Example response:
# Okay, let's break down how AI works. It's a broad field, so I'll focus on the ...
# Here's a simplified overview:
# ...

 pip install --upgrade --quiet google-cloud-aiplatform 

 
import vertexai
from vertexai.generative_models import GenerativeModel

# TODO(developer): Update and un-comment below line
# PROJECT_ID = "your-project-id"
vertexai.init(project=PROJECT_ID, location="us-central1")

model = GenerativeModel("gemini-2.0-flash-001")

response = model.generate_content(
    "What's a good name for a flower shop that specializes in selling bouquets of dried flowers?"
)

print(response.text)
# Example response:
# **Emphasizing the Dried Aspect:**
# * Everlasting Blooms
# * Dried & Delightful
# * The Petal Preserve
# ...

更改 Gemini 通话设置

将预测代码更改为使用 Gemini 2。至少，这意味着将特定模型端点名称更改为您加载模型的 Gemini 2 模型。

具体代码更改会因您最初实现应用的方式而异，尤其是您使用的是 Gen AI SDK 还是 Vertex AI SDK。

进行代码更改后，请对代码执行代码回归测试和其他软件测试，以确保代码能够正常运行。此测试仅用于评估代码能否正常运行。而非评估模型回答的质量。

解决破坏性代码更改的问题

• 动态检索：改用使用 Google 搜索建立依据。此功能需要使用 Gen AI SDK；Vertex AI SDK 不支持此功能。
• 内容过滤器：请注意默认内容过滤器设置，如果您的代码依赖于已更改的默认设置，请进行更改。
• Top-K 令牌抽样参数：gemini-1.0-pro-vision 之后的模型不支持更改 Top-K 参数。

在此步骤中，请仅关注代码更改。您可能需要进行其他更改，但请等到开始评估后，再根据评估结果考虑进行以下调整：

• 如果您要从动态检索切换，则可能需要通过系统指令进行实验，以控制何时使用 Google 搜索（例如 "Only generate queries for the Google Search tool if the user asks about sports. Don't generate queries for any other topic."），但请等到您进行评估后再进行提示更改。
• 如果您使用了 Top-K 参数，请调整其他令牌抽样参数（例如 Top-P），以便获得类似的结果。

重复您在最初开发和发布应用时进行的评估、发布后进行的任何进一步离线评估，以及您在第 1 步中确定的任何其他评估。如果您认为评估结果未充分反映应用的广度和深度，请进行进一步评估。

如果您没有自动运行离线评估的方法，不妨考虑使用 Gen AI Evaluation Service。

如果您的应用使用微调，请先进行离线评估，然后再使用 Gemini 2 重新调整模型。Gemini 2 的输出质量有所提升，这可能意味着您的应用不再需要经过微调的模型。

如果线下评估结果显示 Gemini 2 的效果有所下降，请按如下步骤迭代应用，直到 Gemini 的效果与旧版模型相当：

• 迭代优化提示以提升效果（“爬山”）。如果您刚开始接触“上坡优化”，请参阅 Vertex Gemini 上坡优化在线培训。Vertex AI 提示优化器（示例笔记本）也可以提供帮助。
• 如果您的应用已依赖于微调，请尝试微调 Gemini 2。
• 如果您的应用受到动态检索和 Top-K 破坏性更改的影响，请尝试更改问题和令牌采样参数。

如果您的应用需要达到特定的最低吞吐量，请执行负载测试，确保 Gemini 2 版应用符合您的吞吐量要求。

负载测试应在在线评估之前进行，因为在线评估需要将 Gemini 2 公开为生产流量。使用现有的负载测试插桩来执行此步骤。

如果您的应用已满足吞吐量要求，请考虑使用预配吞吐量。您需要额外的短期预配吞吐量来覆盖负载测试，同时现有的预配吞吐量订单继续处理生产流量。

只有在线下评估结果显示 Gemini 输出质量足够高，并且您的应用需要在线评估时，您才应继续进行在线评估。

在线评估是线上测试的一种特殊情况。尝试使用贵组织现有的工具和流程进行在线评估。例如：

• 如果贵组织定期进行 A/B 测试，请执行 A/B 测试，评估应用的当前实现与 Gemini 2 版本相比的效果。
• 如果贵组织定期进行Canary 版部署，请务必使用 Gemini 2 进行此类部署，并衡量用户行为方面的差异。

您还可以通过在应用中构建新的反馈和衡量功能来进行在线评估。不同的反馈和衡量功能适用于不同的应用。例如：

• 在模型输出旁边添加了“赞”和“踩”按钮，并比较了旧版模型与 Gemini 2 的“赞”与“踩”比率。
• 并排向用户显示旧版模型和 Gemini 2 输出，并要求用户选择其最喜欢的输出。
• 跟踪用户替换或手动调整旧版模型与 Gemini 2 输出的频率。

这类反馈机制通常需要与现有版本并行运行 Gemini 2 版本的应用。这种并行部署有时称为“影子模式”或“蓝绿部署”。

如果在线评估结果与离线评估结果存在明显差异，则说明您的离线评估未捕获真实环境或用户体验的关键方面。根据在线评估结果，设计新的线下评估，以填补在线评估暴露的缺口，然后返回第 3 步。

如果您使用预配吞吐量，则可能需要购买额外的短期预配吞吐量，以便继续满足面临在线评估的用户的吞吐量要求。

如果评估结果显示 Gemini 2 的性能达到或超过旧版模型的性能，请停用现有应用版本，改用 Gemini 2 版本。按照贵组织现有的正式版发布流程操作。

如果您使用的是预配吞吐量，请将预配吞吐量订单更改为您选择的 Gemini 2 模型。如果您要逐步发布应用，请使用短期预配吞吐量来满足两个不同 Gemini 模型的吞吐量要求。