為 Gemini 模型準備監督式微調資料

本文說明如何為 Gemini 模型定義受控精修資料集。您可以調整文字、圖片、音訊和文件資料類型。

關於監督式精細調整資料集

監督式微調資料集可用於將預先訓練模型微調至特定任務或領域。輸入資料應與模型在實際使用中可能遇到的情況相似。輸出標籤應代表每個輸入內容的正確答案或結果。

訓練資料集

如要調整模型，您必須提供訓練資料集。為獲得最佳結果，建議您先從 100 個範例開始。您可以視需要擴大至數千個樣本。資料集的品質遠比數量重要。

驗證資料集

強烈建議您提供驗證資料集。驗證資料集可協助您評估調整作業的成效。

限制

如要瞭解資料集的限制 (例如輸入和輸出符記上限、驗證資料集大小上限和訓練資料集檔案大小上限)，請參閱 Gemini 模型的監督式精修說明。

資料集格式

模型調整資料集必須採用 JSON Lines (JSONL) 格式，其中每一行都包含一個調整範例。在調整模型前，您必須先將資料集上傳至 Cloud Storage 值區。

Gemini 的資料集範例

{
  "systemInstruction": {
    "role": string,
    "parts": [
      {
        "text": string
      }
    ]
  },
  "contents": [
    {
      "role": string,
      "parts": [
        {
          // Union field data can be only one of the following:
          "text": string,
          "fileData": {
            "mimeType": string,
            "fileUri": string
          }
        }
      ]
    }
  ]
}

參數

範例包含以下參數的資料：

目錄

包含郵件多部分內容的基本結構化資料類型。

這個類別包含兩個主要屬性：role 和 parts。role 屬性代表產生內容的使用者，而 parts 屬性則包含多個元素，每個元素代表訊息中的一段資料。

零件

包含多部分 Content 訊息的媒體資料類型。

資料集範例

調校資料集中的每個對話示例都包含一個必要的 messages 欄位和一個選用的 context 欄位。

messages 欄位由角色內容組合陣列組成：

• role 欄位是指訊息的作者，並設為 system、user 或 model。system 角色為選用，只能出現在訊息清單的第一個元素中。user 和 model 為必要角色，且可交替重複使用。
• content 欄位是訊息內容。

在每個範例中，context 和 messages 的符記總長度上限為 131,072 個符記。此外，model 欄位的每個 content 欄位不得超過 8,192 個符記。

{
  "messages": [
    {
      "role": string,
      "content": string
    }
  ]
}

使用實際工作環境資料維持一致性

資料集中的範例應與預期的實際工作環境流量相符。如果資料集含有特定格式、關鍵字、操作說明或資訊，則實際工作環境資料的格式應相同，並包含相同的操作說明。

舉例來說，如果資料集的範例包含 "question:" 和 "context:"，則實際工作環境流量的格式也應包含 "question:" 和 "context:"，且與在資料集範例顯示的順序相同。如果排除內容，即便資料集中的範例出現一個確切的問題，模型也不會辨識模式。

將微調資料集上傳至 Cloud Storage

如要執行調整工作，您必須將一或多個資料集上傳至 Cloud Storage 值區。您可以建立新的 Cloud Storage 值區，或使用現有值區來儲存資料集檔案。值區的地區不重要，但建議您使用位於您預計要微調模型的Google Cloud 專案中所屬的值區。

值區準備就緒後，請上傳資料集檔案至該值區。

遵循提示設計的最佳做法

取得訓練資料集並訓練模型後，就可以設計提示。請務必在訓練資料集中遵循提示設計最佳做法，詳細說明要執行的任務，以及輸出內容應有的樣貌。

後續步驟

• 選擇要調整模型的區域。
• 如要瞭解如何在建構生成式 AI 知識庫的解決方案中使用監督式精修，請參閱「快速部署解決方案：生成式 AI 知識庫」。