調校簡介

模型調整是重要的過程，可讓 Gemini 更精準地執行特定工作。模型調整的運作方式是為模型提供訓練資料集，資料集內有一組特定下游任務的範例。

本頁面提供 Gemini 模型微調的總覽，說明 Gemini 適用的微調選項，並協助您判斷各微調選項的適用時機。

模型調整的好處

模型調整是根據任務自訂大型模型的有效方法。這是提升模型品質和效率的關鍵步驟。模型調整有下列優點：

  • 提升特定工作的品質
  • 提升模型穩健性
  • 提示較短，因此推論延遲時間和成本較低

微調與提示設計的比較

  • 使用預先訓練的 Gemini 模型輸入提示：提示是一門藝術，要能設計出有效的指令，引導 Gemini 等 AI 模型生成所需輸出內容。提示工程需要設計提示，清楚傳達您想執行的工作、所需格式和任何相關脈絡。您只需進行最少設定，即可使用 Gemini 的功能。最適合：
    • 標記資料有限：如果您只有少量標記資料，或無法負擔長時間的微調程序。
    • 快速原型設計：需要快速測試概念或取得基準效能，但不想投入大量資源進行微調時。
  • 自訂微調 Gemini 模型：如要取得更符合需求的結果，您可以針對特定資料集微調 Gemini 模型。如要建立擅長特定領域的 AI 模型，請考慮微調。這包括根據您自己的標籤資料集重新訓練基礎模型，並根據您的工作和資料調整權重。您可以根據使用情況調整 Gemini。微調最適合用於以下情況：
    • 您有標籤資料：可供訓練的大型資料集 (例如 100 個以上的樣本)，讓模型深入瞭解工作細節。
    • 複雜或獨特的任務：如果進階提示策略不足以應付，且需要根據資料量身打造模型。

建議您先從提示著手，找出最佳提示。接著視需要進行微調，進一步提升成效或修正重複發生的錯誤。雖然新增更多範例可能會有幫助，但請務必先評估模型出錯的地方，再新增更多資料。優質且標籤正確的資料對成效至關重要，比資料量更重要。此外，用於微調的資料應反映模型在實際工作環境中遇到的提示分布情形、格式和背景資訊。

與提示設計相比，微調有下列優點：

  • 可深度自訂模型，並提升特定工作的成效。
  • 根據自訂語法、指令和特定領域的語意規則調整模型。
  • 提供更一致且可靠的結果。
  • 可同時處理更多範例。
  • 在提示中移除少量樣本和長篇指令，即可在推論時節省成本

調整方法

如要自訂大型模型，可採用兩種方法：高效參數微調和完整微調。這兩種方法在模型品質和資源效率方面各有優點和影響。

理想情況下

高效參數調整 (又稱適應器調整) 可讓大型模型以有效率的方式，適應特定工作或領域。參數高效微調會在微調過程中，更新模型一小部分的參數。

如要瞭解 Vertex AI 如何支援轉接器調整和服務，請參閱下列白皮書：大型基礎模型調整。

全面微調

全面微調會更新模型的所有參數，因此適合用於調整模型，以處理高難度工作，並可能達到更高的品質。不過，完整微調需要較高的運算資源，無論是微調或提供服務皆是如此，因此整體成本較高。

高效參數調整與全面微調的比較

相較於完整微調，高效參數調整更具資源效率和成本效益。訓練時所需的運算資源大幅減少。 這項技術可使用較小的資料集，更快調整模型。參數效率調整的彈性，為多任務學習提供解決方案，不必進行大規模重新訓練。

支援的調整方法

Vertex AI 支援監督式微調，可自訂基礎模型。

監督式微調

透過監督式微調，模型能學會新技能並增進效能。含數百個有標籤樣本的資料會用於指導模型，讓模型可以模仿所需行為或工作。每個有標籤樣本都會示範模型在推論期間應輸出什麼樣的結果。

執行監督式微調作業時，模型會學習額外參數，以便將必要資訊編碼，並執行所需工作或瞭解應有行為。這些參數會在推論期間使用。完成調整後，就會產生一個新的模型，也就是新學到的參數與原始模型的結合。

如果您的文字模型輸出內容不複雜且較容易定義，對模型進行監督式微調會是不錯的選擇，如果內容不複雜，建議使用監督式微調進行分類、情緒分析、實體擷取、摘要，以及撰寫特定領域的查詢。如果是程式碼模型，則只能使用監督式微調。

支援監督式微調的模型

下列 Gemini 模型支援監督式微調：

如要進一步瞭解如何搭配各模型使用監督式微調，請參閱下列頁面：調整文字、圖片、音訊和文件資料類型。

後續步驟