Vertex AI 模型优化器

Vertex AI 模型优化器是一个动态端点,旨在通过自动应用最符合您需求的 Gemini 模型来简化模型选择。这样,您就可以将问题指向单个元端点,系统会根据您的费用和质量偏好设置,智能地为您的查询选择最合适的 Gemini 模型(Pro、Flash 等)。

如需详细了解模型优化器的价格,请参阅价格

优势

借助模型优化器,您可以:

  • 简化模型选择,而不是为每个应用选择一个模型
  • 针对费用或质量进行优化,从而平衡性能和预算
  • 与现有的 Gemini API 和 SDK 无缝集成
  • 跟踪用量并确定潜在的节省费用机会
  • 高效处理基于文本的任务,无需手动选择端点

支持的模型

  • Gemini 2.0 Flash(正式版)
  • Gemini 2.5 Pro(预览版,03 月 25 日)

语言支持

模型优化器支持 Gemini 模型支持的所有语言。(请参阅 Gemini 语言支持)

模态

模型优化器支持文本用例,包括:

  • 编码,包括函数调用和代码执行
  • 摘要
  • 单轮和多轮聊天
  • 问答

如需了解限制以及如何处理这些限制,请参阅处理不受支持的功能

使用入门

如需开始使用 Model Optimizer,请参阅我们的快速入门 Colab 笔记本

使用 Vertex AI 模型优化器

Gen AI SDK for Python

安装

pip install --upgrade google-genai

如需了解详情,请参阅 SDK 参考文档

设置环境变量以将 Gen AI SDK 与 Vertex AI 搭配使用:

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True

from google import genai
from google.genai.types import (
    FeatureSelectionPreference,
    GenerateContentConfig,
    HttpOptions,
    ModelSelectionConfig
)

client = genai.Client(http_options=HttpOptions(api_version="v1beta1"))
response = client.models.generate_content(
    model="model-optimizer-exp-04-09",
    contents="How does AI work?",
    config=GenerateContentConfig(
        model_selection_config=ModelSelectionConfig(
            feature_selection_preference=FeatureSelectionPreference.BALANCED  # Options: PRIORITIZE_QUALITY, BALANCED, PRIORITIZE_COST
        ),
    ),
)
print(response.text)
# Example response:
# Okay, let's break down how AI works. It's a broad field, so I'll focus on the ...
#
# Here's a simplified overview:
# ...

处理不受支持的功能

模型优化器仅支持文本输入和输出。不过,请求可能包含不受支持的其他模态或工具。以下部分介绍了 Model Optimizer 如何处理这些不受支持的功能。

多模态请求

如果请求包含包含多模态数据(例如视频、图片或音频)的提示,则会抛出 INVALID_ARGUMENT 错误。

不受支持的工具

模型优化器仅支持请求的函数声明。如果请求包含其他工具类型(包括 google_mapsgoogle_searchenterprise_web_searchretrievalbrowse),系统会抛出 INVALID_ARGUMENT 错误。

发送反馈

如需就使用 Model Optimizer 的体验发送反馈,请填写我们的反馈调查问卷

如果您对 Model Optimizer 有任何疑问、技术问题或反馈,请与 model-optimizer-support@google.com 联系。

客户讨论群组

如需直接与开发团队联系,您可以加入 Vertex AI 模型优化器倾听群组,在其中了解该产品并帮助我们了解如何改进产品。该群组的活动包括:

  • 旨在详细了解功能的虚拟研讨会
  • 旨在分享您的需求和优先事项的反馈调查问卷
  • 当我们探索新功能时,与 Google Cloud 员工进行 1 对 1 交流

活动大约每 6-8 周开展一次。您可以参加任意次数的活动,也可以随时选择完全退出活动。 如需加入该群组,请填写 Vertex AI 模型优化器讨论群组注册表单