Vertex AI 模型优化器是一个动态端点,旨在通过自动应用最符合您需求的 Gemini 模型来简化模型选择。这样,您就可以将问题指向单个元端点,系统会根据您的费用和质量偏好设置,智能地为您的查询选择最合适的 Gemini 模型(Pro、Flash 等)。
如需详细了解模型优化器的价格,请参阅价格。
优势
借助模型优化器,您可以:
- 简化模型选择,而不是为每个应用选择一个模型
- 针对费用或质量进行优化,从而平衡性能和预算
- 与现有的 Gemini API 和 SDK 无缝集成
- 跟踪用量并确定潜在的节省费用机会
- 高效处理基于文本的任务,无需手动选择端点
支持的模型
- Gemini 2.0 Flash(正式版)
- Gemini 2.5 Pro(预览版,03 月 25 日)
语言支持
模型优化器支持 Gemini 模型支持的所有语言。(请参阅 Gemini 语言支持)
模态
模型优化器支持文本用例,包括:
- 编码,包括函数调用和代码执行
- 摘要
- 单轮和多轮聊天
- 问答
如需了解限制以及如何处理这些限制,请参阅处理不受支持的功能。
使用入门
如需开始使用 Model Optimizer,请参阅我们的快速入门 Colab 笔记本。
使用 Vertex AI 模型优化器
Gen AI SDK for Python
安装
pip install --upgrade google-genai
如需了解详情,请参阅 SDK 参考文档。
设置环境变量以将 Gen AI SDK 与 Vertex AI 搭配使用:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
处理不受支持的功能
模型优化器仅支持文本输入和输出。不过,请求可能包含不受支持的其他模态或工具。以下部分介绍了 Model Optimizer 如何处理这些不受支持的功能。
多模态请求
如果请求包含包含多模态数据(例如视频、图片或音频)的提示,则会抛出 INVALID_ARGUMENT
错误。
不受支持的工具
模型优化器仅支持请求的函数声明。如果请求包含其他工具类型(包括 google_maps
、google_search
、enterprise_web_search
、retrieval
或 browse
),系统会抛出 INVALID_ARGUMENT
错误。
发送反馈
如需就使用 Model Optimizer 的体验发送反馈,请填写我们的反馈调查问卷。
如果您对 Model Optimizer 有任何疑问、技术问题或反馈,请与 model-optimizer-support@google.com 联系。
客户讨论群组
如需直接与开发团队联系,您可以加入 Vertex AI 模型优化器倾听群组,在其中了解该产品并帮助我们了解如何改进产品。该群组的活动包括:
- 旨在详细了解功能的虚拟研讨会
- 旨在分享您的需求和优先事项的反馈调查问卷
- 当我们探索新功能时,与 Google Cloud 员工进行 1 对 1 交流
活动大约每 6-8 周开展一次。您可以参加任意次数的活动,也可以随时选择完全退出活动。 如需加入该群组,请填写 Vertex AI 模型优化器讨论群组注册表单。