Vertex AI 模型最佳化工具

Vertex AI 模型最佳化器是動態端點,可自動套用最符合您需求的 Gemini 模型,簡化模型選用程序。這樣一來,您就能將提示指向單一中繼端點,而服務會根據您的成本和品質偏好,為查詢智能選取最適合的 Gemini 模型 (Pro、Flash 等)。

如要進一步瞭解模型最佳化器的定價,請參閱「定價」。

優點

模型最佳化工具可讓您:

  • 簡化模型選取程序,而非為每個應用程式選擇模型
  • 針對成本或品質進行最佳化調整,平衡效能與預算
  • 與現有的 Gemini API 和 SDK 完美整合
  • 追蹤用量並找出可能節省的費用
  • 無需手動選取端點,即可有效率地處理文字型工作

支援的模型

  • Gemini 2.0 Flash (GA)
  • Gemini 2.5 Pro (預先發布版,03-25)

語言支援

模型最佳化工具支援 Gemini 模型支援的所有語言。(請參閱 Gemini 支援的語言)

模態

Model Optimizer 支援文字用途,包括:

  • 編寫程式碼,包括函式呼叫和程式碼執行
  • 摘要
  • 單輪和多輪對話
  • 問與答

如要瞭解限制條件和處理方式,請參閱「處理不支援的功能」。

開始使用

如要開始使用模型最佳化工具,請參閱快速入門 Colab 筆記本

使用 Vertex AI 模型最佳化工具

Gen AI SDK for Python

安裝

pip install --upgrade google-genai

詳情請參閱 SDK 參考說明文件

設定環境變數,以便透過 Vertex AI 使用 Gen AI SDK:

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True

from google import genai
from google.genai.types import (
    FeatureSelectionPreference,
    GenerateContentConfig,
    HttpOptions,
    ModelSelectionConfig
)

client = genai.Client(http_options=HttpOptions(api_version="v1beta1"))
response = client.models.generate_content(
    model="model-optimizer-exp-04-09",
    contents="How does AI work?",
    config=GenerateContentConfig(
        model_selection_config=ModelSelectionConfig(
            feature_selection_preference=FeatureSelectionPreference.BALANCED  # Options: PRIORITIZE_QUALITY, BALANCED, PRIORITIZE_COST
        ),
    ),
)
print(response.text)
# Example response:
# Okay, let's break down how AI works. It's a broad field, so I'll focus on the ...
#
# Here's a simplified overview:
# ...

處理不支援的功能

模型最佳化工具僅支援文字輸入和輸出。不過,要求可能包含系統不支援的不同模式或工具。以下各節將說明模型最佳化工具如何處理這些不支援的功能。

多模態要求

如果要求包含多模態資料 (例如影片、圖片或音訊) 的提示,就會擲回 INVALID_ARGUMENT 錯誤。

不支援的工具

模型最佳化器只支援要求的函式宣告。如果要求包含其他工具類型,包括 google_mapsgoogle_searchenterprise_web_searchretrievalbrowse,系統會擲回 INVALID_ARGUMENT 錯誤。

提供意見

如要提供使用 Model Optimizer 的意見回饋,請填寫意見回饋問卷調查

如有 Model Optimizer 相關問題、技術問題或意見回饋,請來信至 model-optimizer-support@google.com

顧客討論群組

如要直接與開發團隊聯絡,歡迎加入 Vertex AI 模型最佳化工具意見交流群組,瞭解產品相關資訊,並協助我們瞭解如何讓功能更符合您的需求。該群組的活動包括:

  • 虛擬工作坊,進一步瞭解各項功能
  • 意見回饋問卷,讓你分享需求和優先順序
  • 與 Google Cloud 員工進行一對一會議,探索新功能

活動大約每 6 至 8 週舉辦一次。你可以視需要參與或不參與,或隨時選擇完全停用。 如要加入這個群組,請填寫 Vertex AI 模型最佳化器討論群組申請表單