關於 Gemini 模型的監督式微調

如果您的任務明確,且可提供已加上標籤的資料,就很適合使用監督式微調功能。在特定領域的應用實例中,如果大型模型的語言或生成內容,與最初的訓練資料大相徑庭,則這項工具的成效將格外顯著。你可以調整文字圖片音訊文件資料類型。

監督式微調功能會運用加上標籤的資料集來調整模型運作方式。這個程序會調整模型權重,盡可能減少預測結果和實際標籤間的差異。舉例來說,這樣當執行下列類型的任務時,便可提升模型效能:

  • 分類
  • 摘要
  • 擷取式問題回答
  • 即時通訊

如要瞭解熱門的微調使用案例,請參閱這篇網誌文章。以下是他們最喜歡的用途

詳情請參閱「何時適合使用受監護的 Gemini 微調功能」。

支援的模型

下列 Gemini 模型支援監督式微調:

限制

Gemini 2.5 Flash

規格
輸入和輸出訓練詞元數量上限 131,072
輸入和輸出服務的詞元數量上限 與基礎 Gemini 模型相同
驗證資料集大小上限 5000 個樣本
訓練資料集檔案大小上限 JSONL 檔案為 1 GB
訓練資料集大小上限 100 萬個純文字範例或 30 萬個多模態範例
轉接器大小 支援的值為 1、2、4、8 和 16。

Gemini 2.0 Flash Gemini 2.0 Flash-Lite

規格
輸入和輸出訓練詞元數量上限 131,072
輸入和輸出服務的詞元數量上限 與基礎 Gemini 模型相同
驗證資料集大小上限 5000 個樣本
訓練資料集檔案大小上限 JSONL 檔案為 1 GB
訓練資料集大小上限 100 萬個純文字範例或 30 萬個多模態範例
轉接器大小 支援的值為 1、2、4 和 8。

已知問題

  • 無法從 Vertex AI Model Registry 刪除經過調整的 Gemini 模型。不過,只要處於閒置狀態,就不會產生任何推論費用。
  • 向已微調的 Gemini 模型提交推論要求時,套用受控生成可能會導致模型品質下降,因為微調和推論期間的資料不一致。微調期間不會套用控制生成內容,因此微調後的模型在推論時無法妥善處理控制生成內容。監督式微調功能可有效自訂模型,生成結構化輸出內容。因此,在微調模型上提出推論要求時,您不需要套用控制生成功能。

使用監督式微調的用途

如果提示能清楚簡潔地定義預期輸出內容或工作,且提示一律會產生預期輸出內容,基礎模型就能發揮良好效果。如果您希望模型學習與一般模式偏離的特定領域或特定知識,可以考慮微調模型。舉例來說,您可以透過模型微調,讓模型學會下列事項:

  • 產生輸出內容的特定結構或格式。
  • 特定行為,例如何時提供簡潔或詳細的輸出內容。
  • 針對特定類型的輸入內容,提供特定的自訂輸出內容。

以下範例是僅使用提示指令難以擷取的應用實例:

  • 分類:預期的回應是特定字詞或詞組。

    調整模型有助於避免模型生成冗長的回覆。

  • 摘要:摘要會以特定格式顯示。舉例來說,您可能需要移除對話摘要中的個人識別資訊 (PII)。

    #Person1#Person2 取代說話者姓名的格式並不容易描述,基礎模型可能無法自然產生這類回應。

  • 擷取問題解答:問題與內容相關,答案是內容的子字串。

    「Last Glacial Maximum」回應是內容中的特定詞組。

  • 對話:你必須自訂模型回覆,讓模型扮演特定角色或人物。

您也可以在下列情況微調模型:

  • 提示無法持續產生預期結果。
  • 這項工作過於複雜,無法在提示中定義。舉例來說,您希望模型複製某種行為,但很難在提示中清楚說明該行為。
  • 您對某項工作有複雜的直覺,但難以在提示中正式說明。
  • 您想移除少樣本範例,藉此縮短背景資訊長度。

設定微調工作區域

轉換後的資料集和調整後模型等使用者資料,會儲存在調整工作區域。在微調期間,系統可能會將運算作業卸載至其他 USEU 區域,以使用可用的加速器。使用者不會察覺到卸載作業。

  • 如果您使用 Vertex AI SDK,可以在初始化時指定區域。例如:

    import vertexai
    vertexai.init(project='myproject', location='us-central1')
    
  • 如果您使用 tuningJobs.create 方法傳送 POST 要求,建立受監督的微調作業,則可使用網址指定微調作業的執行區域。舉例來說,在下列網址中,您可將兩個 TUNING_JOB_REGION 執行個體都換成工作執行的區域,藉此指定區域。

     https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs
    
  • 如果您使用Google Cloud 控制台,可以在「模型詳細資料」頁面的「區域」下拉式欄位中選取區域名稱。您可以在這個頁面選取基礎模型和調整後的模型名稱。

配額

系統會對並行微調工作數量強制執行配額。每個專案都設有預設配額,至少可執行一項微調作業。這是全域配額,適用於所有可用區域和支援的模型。如要同時執行更多工作,請申請更多Global concurrent tuning jobs配額

定價

如需 Gemini 監督式微調的定價資訊,請參閱 Vertex AI 定價

訓練詞元數量的計算方式為:訓練資料集中的詞元數量乘以訓練週期數。調整後,系統仍會針對調整過的模型收取推論 (預測要求) 費用。Gemini 各穩定版本的推論價格相同。 詳情請參閱「Available Gemini stable model versions」一文。

後續步驟