如果您的任務明確,且可提供已加上標籤的資料,就很適合使用監督式微調功能。在特定領域的應用實例中,如果大型模型的語言或生成內容,與最初的訓練資料大相徑庭,則這項工具的成效將格外顯著。你可以調整文字、圖片、音訊和文件資料類型。
監督式微調功能會運用加上標籤的資料集來調整模型運作方式。這個程序會調整模型權重,盡可能減少預測結果和實際標籤間的差異。舉例來說,這樣當執行下列類型的任務時,便可提升模型效能:
- 分類
- 摘要
- 擷取式問題回答
- 即時通訊
如要瞭解熱門的微調使用案例,請參閱這篇網誌文章。以下是他們最喜歡的用途。
詳情請參閱「何時適合使用受監護的 Gemini 微調功能」。
支援的模型
下列 Gemini 模型支援監督式微調:
限制
Gemini 2.5 Flash
規格 | 值 |
---|---|
輸入和輸出訓練詞元數量上限 | 131,072 |
輸入和輸出服務的詞元數量上限 | 與基礎 Gemini 模型相同 |
驗證資料集大小上限 | 5000 個樣本 |
訓練資料集檔案大小上限 | JSONL 檔案為 1 GB |
訓練資料集大小上限 | 100 萬個純文字範例或 30 萬個多模態範例 |
轉接器大小 | 支援的值為 1、2、4、8 和 16。 |
Gemini 2.0 Flash Gemini 2.0 Flash-Lite
規格 | 值 |
---|---|
輸入和輸出訓練詞元數量上限 | 131,072 |
輸入和輸出服務的詞元數量上限 | 與基礎 Gemini 模型相同 |
驗證資料集大小上限 | 5000 個樣本 |
訓練資料集檔案大小上限 | JSONL 檔案為 1 GB |
訓練資料集大小上限 | 100 萬個純文字範例或 30 萬個多模態範例 |
轉接器大小 | 支援的值為 1、2、4 和 8。 |
已知問題
- 無法從 Vertex AI Model Registry 刪除經過調整的 Gemini 模型。不過,只要處於閒置狀態,就不會產生任何推論費用。
- 向已微調的 Gemini 模型提交推論要求時,套用受控生成可能會導致模型品質下降,因為微調和推論期間的資料不一致。微調期間不會套用控制生成內容,因此微調後的模型在推論時無法妥善處理控制生成內容。監督式微調功能可有效自訂模型,生成結構化輸出內容。因此,在微調模型上提出推論要求時,您不需要套用控制生成功能。
使用監督式微調的用途
如果提示能清楚簡潔地定義預期輸出內容或工作,且提示一律會產生預期輸出內容,基礎模型就能發揮良好效果。如果您希望模型學習與一般模式偏離的特定領域或特定知識,可以考慮微調模型。舉例來說,您可以透過模型微調,讓模型學會下列事項:
- 產生輸出內容的特定結構或格式。
- 特定行為,例如何時提供簡潔或詳細的輸出內容。
- 針對特定類型的輸入內容,提供特定的自訂輸出內容。
以下範例是僅使用提示指令難以擷取的應用實例:
分類:預期的回應是特定字詞或詞組。
調整模型有助於避免模型生成冗長的回覆。
摘要:摘要會以特定格式顯示。舉例來說,您可能需要移除對話摘要中的個人識別資訊 (PII)。
以
#Person1
和#Person2
取代說話者姓名的格式並不容易描述,基礎模型可能無法自然產生這類回應。擷取問題解答:問題與內容相關,答案是內容的子字串。
「Last Glacial Maximum」回應是內容中的特定詞組。
對話:你必須自訂模型回覆,讓模型扮演特定角色或人物。
您也可以在下列情況微調模型:
- 提示無法持續產生預期結果。
- 這項工作過於複雜,無法在提示中定義。舉例來說,您希望模型複製某種行為,但很難在提示中清楚說明該行為。
- 您對某項工作有複雜的直覺,但難以在提示中正式說明。
- 您想移除少樣本範例,藉此縮短背景資訊長度。
設定微調工作區域
轉換後的資料集和調整後模型等使用者資料,會儲存在調整工作區域。在微調期間,系統可能會將運算作業卸載至其他 US
或 EU
區域,以使用可用的加速器。使用者不會察覺到卸載作業。
如果您使用 Vertex AI SDK,可以在初始化時指定區域。例如:
import vertexai vertexai.init(project='myproject', location='us-central1')
如果您使用
tuningJobs.create
方法傳送 POST 要求,建立受監督的微調作業,則可使用網址指定微調作業的執行區域。舉例來說,在下列網址中,您可將兩個TUNING_JOB_REGION
執行個體都換成工作執行的區域,藉此指定區域。https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs
如果您使用Google Cloud 控制台,可以在「模型詳細資料」頁面的「區域」下拉式欄位中選取區域名稱。您可以在這個頁面選取基礎模型和調整後的模型名稱。
配額
系統會對並行微調工作數量強制執行配額。每個專案都設有預設配額,至少可執行一項微調作業。這是全域配額,適用於所有可用區域和支援的模型。如要同時執行更多工作,請申請更多Global concurrent tuning jobs
配額。
定價
如需 Gemini 監督式微調的定價資訊,請參閱 Vertex AI 定價。
訓練詞元數量的計算方式為:訓練資料集中的詞元數量乘以訓練週期數。調整後,系統仍會針對調整過的模型收取推論 (預測要求) 費用。Gemini 各穩定版本的推論價格相同。 詳情請參閱「Available Gemini stable model versions」一文。
後續步驟
- 準備監督式微調資料集。
- 瞭解如何部署已調整的 Gemini 模型。