教師ありチューニングを使用して PaLM テキストモデルをチューニングする

教師ありチューニングでは、ラベル付けされた例を使用してモデルをチューニングします。それぞれの例は、推論時にテキストモデルから期待される出力を示しています。教師ありチューニングは、モデルの出力がそれほど複雑ではなく、定義が簡単な場合に適しています。

• モデルからの出力を定義するのが難しい場合は、人間からのフィードバックを用いた強化学習（RLHF）チューニングを使用して、テキストモデルをチューニングすることを検討してください。
• 教師ありチューニングによるコードモデルのチューニングについては、コードモデルをチューニングするをご覧ください。

テキストモデルの教師ありチューニングの詳細なガイダンス

次のガイド付きチュートリアルでは、教師ありチューニングを使用して、Google Cloud コンソールでテキストの基盤モデルをチューニングする方法について説明します。

このタスクを Google Cloud コンソールで直接行う際の順を追ったガイダンスについては、「ガイドを表示」をクリックしてください。

ガイドを表示

教師ありモデルのチューニングのワークフロー

Vertex AI での教師ありモデルのチューニング ワークフローには、次の手順が含まれます。

1. モデルのチューニング用データセットを準備します。
2. モデルのチューニング用データセットを Cloud Storage バケットにアップロードします。
3. 教師ありモデルのチューニング ジョブを作成します。

モデルのチューニングが完了すると、チューニング済みモデルが Vertex AI エンドポイントにデプロイされます。エンドポイントの名前は、チューニング済みモデルの名前と同じです。新しいプロンプトを作成するときに、チューニング済みモデルを Vertex AI Studio で選択できます。

サポートされているモデル

次のテキスト基盤モデルは、教師ありチューニングをサポートしています。

• テキスト生成 - text-bison@002 と text-bison-32k@002
• テキスト チャット - chat-bison@002 と chat-bison-32k@002
• コードの生成 - code-bison@002 と text-bison-32k@002
• コードチャット - codechat-bison@002 と codechat-bison-32k@002
• テキスト エンベディング - textembedding-gecko@001（プレビュー）

テキストモデルで教師ありチューニングを使用するユースケース

基盤テキストモデルは、期待される出力やタスクがプロンプトで明確かつ簡潔に定義可能で、プロンプトが常に期待される出力を生成する場合に適しています。一般的な言語パターンから逸脱するニッチな、または特定の情報をモデルに学習させるときは、そのモデルのチューニングを検討してください。たとえば、モデルのチューニングを使用して、モデルに次のことを学習させられます。

• 出力を生成するための特定の構造や形式
• 場合に応じて出力を簡潔または詳細にするなどの、特定の動作
• 入力のタイプに合わせてカスタマイズされた特定の出力

次の例は、プロンプトの指示だけではキャプチャが難しいユースケースです。

• 分類: 期待されるレスポンスが特定の単語やフレーズ。

  プロンプト: 次のテキストを [ビジネス, エンターテイメント] のいずれかに分類してください。 Text: 投資ポートフォリオを多様化する レスポンス: ビジネス

  モデルをチューニングすると、モデルが冗長なレスポンスを生成しないようにできます。

• 要約: 要約は特定の形式に従っています。たとえば、チャットの概要で個人情報（PII）の削除が必要な場合があります。

  プロンプト: 要約: Jessica: それはよかったです。タイムズ スクウェアで会いましょう。 Alexander: 10 時に会いましょう。 レスポンス: #Person1 と #Person2 は、タイムズ スクウェアで午前 10 時に会うことに合意しました。

  この形式では、話者の名前を #Person1 と #Person2 で置き換えていますが、記述しにくく、基盤モデルではこのようなレスポンスが自然に得られない可能性があります。

• 抜粋された質問応答: 質問はコンテキストに関するもので、回答はコンテキストの部分文字列です。

  プロンプト: コンテキスト: 最終氷期極大期（LGM）とその後の退氷期が続いた過去 21,000 年の間に、アマゾン熱帯雨林が大きく変貌したエビデンスが確認されました。 質問: LGM は何の略ですか？ レスポンス: 最終氷期極大期

  「最終氷期極大期」というレスポンスは、コンテキストから抜き出した特定のフレーズです。

• チャット: ペルソナ、ロール、キャラクターに合わせて、モデルのレスポンスをカスタマイズする必要があります。

  プロンプト: ユーザー: 今日の天気は？ レスポンス: アシスタント: Lola Lollipops のバーチャル ショップキーパーとしてお手伝いできるのは、購入と配送のみです。

次のような状況でも、モデルをチューニングできます。

• プロンプトが期待する結果を十分に一貫して生成しない。
• タスクが複雑すぎて、プロンプトで定義できない。たとえば、プロンプトで表現するのが難しい動作について、モデルに動作を再現させることができます。
• タスクについての直感が複雑で、引き出すのは簡単だが、プロンプトとして定式化するのが難しい。
• 少数ショットの例を削除して、コンテキストを短くしたい。

教師ありチューニングのデータセットを準備する

基盤モデルのチューニングに使用するデータセットには、モデルで実行するタスクに応じたサンプルを含める必要があります。テキストからテキストへの形式で、トレーニング データセットを構造化します。データセット内の各レコード（または行）には入力テキスト（プロンプトとも呼ばれます）が含まれており、このテキストはモデルから予測される出力と対になります。教師ありチューニングでは、データセットを使用し、必要とする動作（タスク）を示す数百のサンプルを与えて、その動作を模倣するようモデルに学習させます。

データセットは少なくとも 10 個のサンプルを含む必要があります。良好な結果を得るには、最低でも 100～500 個のサンプルを含めることをおすすめします。データセットに含まれているサンプルが多いほど、良い結果が得られます。

サンプル データセットについては、このページのサンプル データセットをご覧ください。

データセットのフォーマット

モデルのチューニング用データセットは、JSON Lines（JSONL）形式で、各行に 1 つのチューニング サンプルが含まれている必要があります。テキスト生成モデルのチューニングに使用されるデータセットのフォーマットは、テキスト チャットモデルのチューニングに使用されるデータセットのフォーマットとは異なります。モデルをチューニングする前に、データセットを Cloud Storage バケットにアップロードする必要があります。

{"input_text": "question: How many people live in Beijing? context:
With over 21 million residents, Beijing is the world's most populous national
capital city and is China's second largest city after Shanghai. It is
located in Northern China, and is governed as a municipality under the direct
administration of the State Council with 16 urban, suburban, and rural
districts.[14] Beijing is mostly surrounded by Hebei Province with the exception
of neighboring Tianjin to the southeast; together, the three divisions form the
Jingjinji megalopolis and the national capital region of China.",
"output_text": "over 21 million people"}


{"input_text": "question: How many parishes are there in Louisiana? context:
The U.S. state of Louisiana is divided into 64 parishes (French: paroisses) in
the same manner that 48 other states of the United States are divided into
counties, and Alaska is divided into boroughs.", "output_text": "64"}

{"input_text": "5 stocks to buy now",
"output_text": "business"}

{"input_text": "Classify the following text into one of the following classes:
[business, entertainment] Text: 5 stocks to buy now",
"output_text": "business"}

{
  "context": "You are a pirate dog named Captain Barktholomew.",
  "messages": [
    {
      "author": "user",
      "content": "Hi"
    },
    {
      "author": "assistant",
      "content": "Argh! What brings ye to my ship?"
    },
    {
      "author": "user",
      "content": "What's your name?"
    },
    {
      "author": "assistant",
      "content": "I be Captain Barktholomew, the most feared pirate dog of the seven seas."
    }
  ]
}

サンプル データセット

サンプル データセットを使用して、text-bison@002 モデルのチューニングを開始できます。以下に示すのは、さまざまな医療専門分野向けの医療用音声文字変換のサンプルを含む、分類タスクのデータセットです。このデータは mtsamples.com からのもので、Kaggle で入手できます。

• サンプル　チューニング用データセットの URI:

  gs://cloud-samples-data/vertex-ai/model-evaluation/peft_train_sample.jsonl

• サンプル評価用データセットの URL:

  gs://cloud-samples-data/vertex-ai/model-evaluation/peft_eval_sample.jsonl

これらのデータセットを使用するには、テキストモデルの教師ありチューニング ジョブの作成時に、該当するパラメータで URI を指定します。

次に例を示します。

...
"dataset_uri": "gs://cloud-samples-data/vertex-ai/model-evaluation/peft_train_sample.jsonl",
...
"evaluation_data_uri": "gs://cloud-samples-data/vertex-ai/model-evaluation/peft_eval_sample.jsonl",
...

本番環境データとの整合性を維持する

データセットに含まれるサンプルは、想定される本番環境のトラフィックと一致していなければなりません。データセットに特定の書式、キーワード、指示、情報が含まれている場合は、本番環境のデータも同じ形式にし、同じ指示を含んでいる必要があります。

たとえば、データセットのサンプルに "question:" と "context:" が含まれている場合は、本番環境のトラフィックにも、データセットの例と同じ順序で "question:" と "context:" が含まれるように整形する必要があります。コンテキストを除外すると、データセット内のサンプルに同じ質問が含まれていても、モデルはパターンを認識しません。

チューニング用データセットを Cloud Storage にアップロードする

チューニング ジョブを実行するには、1 つ以上のデータセットを Cloud Storage バケットにアップロードする必要があります。新しい Cloud Storage バケットを作成するか、既存のバケットを使用してデータセット ファイルを保存できます。バケットのリージョンは重要ではありませんが、モデルをチューニングする Google Cloud プロジェクトのバケットを使用することをおすすめします。

バケットの準備ができたら、データセット ファイルをバケットにアップロードします。

教師ありチューニング リージョンの設定

教師ありチューニング ジョブを構成するときに、3 つの Google Cloud リージョン設定を指定できます。1 つのリージョンは、モデルをチューニングするパイプラインが実行される場所です。もう 1 つのリージョンは、モデル チューニング ジョブが実行され、チューニングされたモデルがアップロードされる場所です。

パイプライン ジョブ リージョン

パイプライン ジョブ リージョンは、パイプライン ジョブが実行されるリージョンです。オプションのモデル アップロード リージョンが指定されていない場合、モデルはパイプライン ジョブ リージョンにアップロード、デプロイされます。変換済みデータセットなどの中間データは、パイプライン ジョブ リージョンに保存されます。パイプライン ジョブ リージョンに使用できるリージョンについては、サポートされているパイプライン ジョブとモデル アップロード リージョンをご覧ください。パイプライン ジョブ リージョンは、次のいずれかの方法で指定する必要があります。

• Vertex AI SDK を使用する場合は、チューニングするモデルを表すオブジェクトの tune_model メソッド（TextGenerationModel.tune_model メソッドなど）で tuning_job_location パラメータを使用して、パイプライン ジョブを実行するリージョンを指定できます。

• pipelineJobs.create メソッドで POST リクエストを送信して教師ありチューニング ジョブを作成する場合は、URL を使用してパイプライン ジョブが実行されるリージョンを指定します。次の URL で、PIPELINE_JOB_REGION の両方のインスタンスをパイプラインが実行されるリージョンに置き換えます。

   https://PIPELINE_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/PIPELINE_JOB_REGION/pipelineJobs
  

• Google Cloud コンソールを使用して教師ありモデルのチューニング ジョブを作成する場合は、チューニング ジョブを作成する際に [リージョン] コントロールでパイプライン ジョブ リージョンを指定します。Google Cloud コンソールでは、[リージョン] コントロールでパイプライン ジョブ リージョンとモデル アップロード リージョンの両方を指定します。Google Cloud コンソールを使用して教師ありモデルのチューニング ジョブを作成する場合、両方のリージョンが常に同じです。

モデル アップロード リージョン

オプションの tuned_model_location パラメータを使用して、チューニングされたモデルのアップロード先を指定します。モデル アップロード リージョンが指定されていない場合、チューニングされたモデルは、パイプライン ジョブ リージョンにアップロードされます。モデル アップロード リージョンの場合は、サポートされているパイプライン ジョブ リージョンとモデル アップロード リージョンのいずれかを使用できます。モデル アップロード リージョンは、次のいずれかの方法で指定できます。

• Vertex AI SDK を使用する場合は、tuned_model_location パラメータは、チューニングしているモデルを表すオブジェクトの tune_model メソッド（例: TextGenerationModel.tune_modelメソッド）で指定されます。

• pipelineJobs メソッドで POST リクエストを送信して教師ありモデルのチューニング ジョブを作成する場合は、location パラメータを使用してモデル アップロード リージョンを指定します。

• Google Cloud コンソールで教師ありモデルのチューニング ジョブを作成する場合は、チューニング ジョブを作成するときに [リージョン] コントロールでモデル アップロード リージョンを指定します。Google Cloud コンソールでは、[リージョン] コントロールでモデル アップロード リージョンとパイプライン ジョブ リージョンの両方を指定します。Google Cloud コンソールを使用して教師ありモデルのチューニング ジョブを作成する場合、両方のリージョンが常に同じです。

モデル チューニング リージョン

モデル チューニング リージョンは、モデル チューニングの計算が行われる場所です。このリージョンは、選択したアクセラレータ タイプによって決定されます。アクセラレータ タイプに TPU を指定すると、モデル チューニングの計算は europe-west4 で行われます。アクセラレータ タイプに GPU を指定すると、モデル チューニングは us-central1 で行われます。

サポートされているパイプライン ジョブ リージョンとモデル アップロード リージョン

次のいずれかのリージョンを使用して、モデル アップロード リージョンとパイプライン ジョブ リージョンを指定できます。

• us-central1
• europe-west4
• asia-southeast1
• us-west1
• europe-west3
• europe-west2
• asia-northeast1
• us-east4
• us-west4
• northamerica-northeast1
• europe-west9
• europe-west1
• asia-northeast3

テキストモデルの教師ありチューニング ジョブを作成する

テキストモデルの教師ありチューニング ジョブは、Google Cloud コンソール、API、または Vertex AI SDK for Python を使用して作成できます。モデルのチューニング構成のガイダンスについては、推奨構成をご覧ください。

POST https://PIPELINE_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/PIPELINE_JOB_REGION/pipelineJobs

{
  "displayName": "PIPELINEJOB_DISPLAYNAME",
  "runtimeConfig": {
    "gcsOutputDirectory": "gs://OUTPUT_DIR",
    "parameterValues": {
      "project": "PROJECT_ID",
      "model_display_name": "MODEL_DISPLAYNAME",
      "dataset_uri": "gs://DATASET_URI",
      "location": "MODEL_UPLOAD_REGION",
      "accelerator_type": "ACCELERATOR_TYPE",
      "large_model_reference": "LARGE_MODEL_REFERENCE",
      "default_context": "DEFAULT_CONTEXT (chat only)",
      "train_steps": STEPS,
      "learning_rate_multiplier": LEARNING_RATE_MULTIPLIER,
      "evaluation_data_uri": "gs://EVAL_DATASET_URI (text only)",
      "evaluation_interval": EVAL_INTERVAL (text only),
      "enable_early_stopping": ENABLE_EARLY_STOPPING (text only),
      "enable_checkpoint_selection": "ENABLE_CHECKPOINT_SELECTION (text only)",
      "tensorboard_resource_id": "TENSORBOARD_ID",
      "encryption_spec_key_name": "ENCRYPTION_KEY_NAME"
    }
  },
  "encryptionSpec": {
    "kmsKeyName": "ENCRYPTION_KEY_NAME"
  },
  "serviceAccount": "SERVICE_ACCOUNT",
  "templateUri": "TEMPLATE_URI"
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://PIPELINE_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/PIPELINE_JOB_REGION/pipelineJobs"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://PIPELINE_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/PIPELINE_JOB_REGION/pipelineJobs" | Select-Object -Expand Content

{
  "name": "projects/PROJECT_NUMBER/locations/LOCATION/pipelineJobs/PIPELINEJOB_ID",
  "displayName": "PIPELINEJOB_DISPLAYNAME",
  "createTime": "CREATE_TIME",
  "updateTime": "UPDATE_TIME",
  "pipelineSpec": { ... },
  "state": "PIPELINE_STATE_PENDING",
  "labels": {
    "vertex-ai-pipelines-run-billing-id": "BILLING_ID"
  },
  "runtimeConfig": {
    "gcsOutputDirectory": "gs://OUTPUT_DIR",
    "parameterValues": {
      "project": "PROJECT_ID",
      "model_display_name": "MODEL_DISPLAYNAME",
      "dataset_uri": "gs://DATASET_URI",
      "evaluation_data_uri": "EVAL_DATASET_URI",
      "evaluation_interval": "EVAL_INTERVAL",
      "enable_early_stopping": "ENABLE_EARLY_STOPPING",
      "enable_checkpoint_selection": "ENABLE_CHECKPOINT_SELECTION",
      "tensorboard_resource_id": "TENSORBOARD_RESOURCE_ID",
      "accelerator_type": "ACCELERATOR_TYPE",
      "location": "MODEL_UPLOAD_REGION",
      "large_model_reference": "text-bison@002",
      "train_steps": STEPS,
      "learning_rate_multiplier": "LEARNING_RATE_MULTIPLIER",
      "encryption_spec_key_name": "ENCRYPTION_KEY_NAME"
    }
  },
  "serviceAccount": "PROJECT_NUMBER-compute@developer.gserviceaccount.com",
  "templateUri": "https://us-kfp.pkg.dev/ml-pipeline/large-language-model-pipelines/tune-large-model/v2.0.0",
  "templateMetadata": {
    "version": "sha256:c54b301482463df457b923faff255c528be7d1164531aa756b5974b3dc214b98"
  }
}

from __future__ import annotations

import os

from vertexai.language_models import TextGenerationModel

PROJECT_ID = os.getenv("GOOGLE_CLOUD_PROJECT")


def tuning() -> TextGenerationModel:
    import vertexai
    from vertexai.language_models import TextGenerationModel

    # Initialize Vertex AI
    vertexai.init(project=PROJECT_ID, location="us-central1")

    model = TextGenerationModel.from_pretrained("text-bison@002")

    # TODO(developer): Update the training data path
    tuning_job = model.tune_model(
        training_data="gs://cloud-samples-data/ai-platform/generative_ai/headline_classification.jsonl",
        tuning_job_location="europe-west4",
        tuned_model_location="us-central1",
    )

    print(tuning_job._status)
    # Example response:
    # pipeline_job = aiplatform.PipelineJob.get('projects/1234567890/locations/europe-west4/pipelineJobs/tune...
    # View Pipeline Job:
    # ...
    # PipelineState.PIPELINE_STATE_PENDING

    return model

/**
 * TODO(developer): Uncomment these variables before running the sample.\
 * (Not necessary if passing values as arguments)
 */
// const project = 'YOUR_PROJECT_ID';
// const location = 'YOUR_PROJECT_LOCATION';
const aiplatform = require('@google-cloud/aiplatform');
const {PipelineServiceClient} = aiplatform.v1;

// Import the helper module for converting arbitrary protobuf.Value objects.
const {helpers} = aiplatform;

// Specifies the location of the api endpoint
const clientOptions = {
  apiEndpoint: 'europe-west4-aiplatform.googleapis.com',
};
const model = 'text-bison@001';

const pipelineClient = new PipelineServiceClient(clientOptions);

async function tuneLLM() {
  // Configure the parent resource
  const parent = `projects/${project}/locations/${location}`;

  const parameters = {
    train_steps: helpers.toValue(trainSteps),
    project: helpers.toValue(project),
    location: helpers.toValue('us-central1'),
    dataset_uri: helpers.toValue(datasetUri),
    large_model_reference: helpers.toValue(model),
    model_display_name: helpers.toValue(modelDisplayName),
    accelerator_type: helpers.toValue('GPU'), // Optional: GPU or TPU
  };

  const runtimeConfig = {
    gcsOutputDirectory,
    parameterValues: parameters,
  };

  const pipelineJob = {
    templateUri:
      'https://us-kfp.pkg.dev/ml-pipeline/large-language-model-pipelines/tune-large-model/v2.0.0',
    displayName: 'my-tuning-job',
    runtimeConfig,
  };

  const createPipelineRequest = {
    parent,
    pipelineJob,
    pipelineJobId,
  };
  await new Promise((resolve, reject) => {
    pipelineClient.createPipelineJob(createPipelineRequest).then(
      response => resolve(response),
      e => reject(e)
    );
  }).then(response => {
    const [result] = response;
    console.log('Tuning pipeline job:');
    console.log(`\tName: ${result.name}`);
    console.log(
      `\tCreate time: ${new Date(1970, 0, 1)
        .setSeconds(result.createTime.seconds)
        .toLocaleString()}`
    );
    console.log(`\tStatus: ${result.status}`);
  });
}

await tuneLLM();

import com.google.cloud.aiplatform.v1.CreatePipelineJobRequest;
import com.google.cloud.aiplatform.v1.LocationName;
import com.google.cloud.aiplatform.v1.PipelineJob;
import com.google.cloud.aiplatform.v1.PipelineJob.RuntimeConfig;
import com.google.cloud.aiplatform.v1.PipelineServiceClient;
import com.google.cloud.aiplatform.v1.PipelineServiceSettings;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

public class CreatePipelineJobModelTuningSample {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String project = "PROJECT";
    String location = "europe-west4"; // europe-west4 and us-central1 are the supported regions
    String pipelineJobDisplayName = "PIPELINE_JOB_DISPLAY_NAME";
    String modelDisplayName = "MODEL_DISPLAY_NAME";
    String outputDir = "OUTPUT_DIR";
    String datasetUri = "DATASET_URI";
    int trainingSteps = 300;

    createPipelineJobModelTuningSample(
        project,
        location,
        pipelineJobDisplayName,
        modelDisplayName,
        outputDir,
        datasetUri,
        trainingSteps);
  }

  // Create a model tuning job
  public static void createPipelineJobModelTuningSample(
      String project,
      String location,
      String pipelineJobDisplayName,
      String modelDisplayName,
      String outputDir,
      String datasetUri,
      int trainingSteps)
      throws IOException {
    final String endpoint = String.format("%s-aiplatform.googleapis.com:443", location);
    PipelineServiceSettings pipelineServiceSettings =
        PipelineServiceSettings.newBuilder().setEndpoint(endpoint).build();

    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (PipelineServiceClient client = PipelineServiceClient.create(pipelineServiceSettings)) {
      Map<String, Value> parameterValues = new HashMap<>();
      parameterValues.put("project", stringToValue(project));
      parameterValues.put("model_display_name", stringToValue(modelDisplayName));
      parameterValues.put("dataset_uri", stringToValue(datasetUri));
      parameterValues.put(
          "location",
          stringToValue(
              "us-central1")); // Deployment is only supported in us-central1 for Public Preview
      parameterValues.put("large_model_reference", stringToValue("text-bison@001"));
      parameterValues.put("train_steps", numberToValue(trainingSteps));
      parameterValues.put("accelerator_type", stringToValue("GPU")); // Optional: GPU or TPU

      RuntimeConfig runtimeConfig =
          RuntimeConfig.newBuilder()
              .setGcsOutputDirectory(outputDir)
              .putAllParameterValues(parameterValues)
              .build();

      PipelineJob pipelineJob =
          PipelineJob.newBuilder()
              .setTemplateUri(
                  "https://us-kfp.pkg.dev/ml-pipeline/large-language-model-pipelines/tune-large-model/v2.0.0")
              .setDisplayName(pipelineJobDisplayName)
              .setRuntimeConfig(runtimeConfig)
              .build();

      LocationName parent = LocationName.of(project, location);
      CreatePipelineJobRequest request =
          CreatePipelineJobRequest.newBuilder()
              .setParent(parent.toString())
              .setPipelineJob(pipelineJob)
              .build();

      PipelineJob response = client.createPipelineJob(request);
      System.out.format("response: %s\n", response);
      System.out.format("Name: %s\n", response.getName());
    }
  }

  static Value stringToValue(String str) {
    return Value.newBuilder().setStringValue(str).build();
  }

  static Value numberToValue(int n) {
    return Value.newBuilder().setNumberValue(n).build();
  }
}

curl コマンドの例

PROJECT_ID=myproject
DATASET_URI=gs://my-gcs-bucket-uri/dataset
OUTPUT_DIR=gs://my-gcs-bucket-uri/output
ACCELERATOR_TYPE=GPU
LOCATION=us-central1

curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
"https://europe-west4-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/europe-west4/pipelineJobs?pipelineJobId=tune-large-model-$(date +%Y%m%d%H%M%S)" -d \
$'{
  "displayName": "tune-llm",
  "runtimeConfig": {
    "gcsOutputDirectory": "'${OUTPUT_DIR}'",
    "parameterValues": {
      "project": "'${PROJECT_ID}'",
      "model_display_name": "The display name for your model in the UI",
      "dataset_uri": "'${DATASET_URI}'",
      "location": "'${LOCATION}'",
      "accelerator_type:": "'${ACCELERATOR_TYPE}'",
      "large_model_reference": "text-bison@002",
      "train_steps": 300,
      "learning_rate_multiplier": 1,
      "encryption_spec_key_name": "projects/myproject/locations/us-central1/keyRings/sample-key/cryptoKeys/sample-key"
    }
  },
  "encryptionSpec": {
    "kmsKeyName": "projects/myproject/locations/us-central1/keyRings/sample-key/cryptoKeys/sample-key"
  },
  "templateUri": "https://us-kfp.pkg.dev/ml-pipeline/large-language-model-pipelines/tune-large-model/v2.0.0"
}'

推奨構成

タスクごとに基盤モデルをチューニングするための推奨構成を、次の表に示します。

トレーニングのステップでは、特定のデータセットに対して最高のパフォーマンスを得るために、複数の値（100、200、500 など）を試すことができます。

チューニング済みモデルのリストを表示する

現在のプロジェクトに含まれるモデルのリスト（チューニング済みモデルを含む）を表示するには、Google Cloud コンソール、または Vertex AI SDK for Python を使用します。

import vertexai

from vertexai.language_models import TextGenerationModel

# TODO(developer): Update and un-comment below line
# PROJECT_ID = "your-project-id"

vertexai.init(project=PROJECT_ID, location="us-central1")

model = TextGenerationModel.from_pretrained("text-bison@002")
tuned_model_names = model.list_tuned_model_names()
print(tuned_model_names)
# Example response:
# ['projects/1234567890/locations/us-central1/models/1234567889012345',
# ...]

チューニング済みテキストモデルを読み込む

次のサンプルコードでは、Vertex AI SDK for Python を使用して、教師ありチューニングでチューニングされたテキスト生成モデルを読み込みます。

import vertexai
from vertexai.preview.language_models import TextGenerationModel

model = TextGenerationModel.get_tuned_model(TUNED_MODEL_NAME)

TUNED_MODEL_NAME は、チューニング済みモデルの修飾リソース名に置き換えます。この名前は、projects/PROJECT_ID/locations/LOCATION/models/MODEL_ID の形式です。チューニング済みモデルのモデル ID は、Vertex AI Model Registry で確認できます。

チューニングと評価の指標

モデルのチューニングとモデルの評価の指標を収集して報告するよう、モデルのチューニング ジョブを構成できます。その後で、Vertex AI TensorBoard を使用してこれらの指標を可視化できます。

モデル チューニングの指標

• /train_total_loss: トレーニング ステップでのチューニング データセットの損失。
• /train_fraction_of_correct_next_step_preds: トレーニング ステップでのトークンの精度。1 回の予測は一連のトークンで構成されます。この指標は、チューニング用データセットのグラウンド トゥルースと比較したときに予測されるトークンの精度を測定します。
• /train_num_predictions: トレーニング ステップで予測されるトークンの数。

モデル評価の指標

モデルのチューニング ジョブを構成して、code-bison と text-bison について次の評価指標を収集できます。

• /eval_total_loss: 評価ステップでの評価データセットの損失。
• /eval_fraction_of_correct_next_step_preds: 評価ステップでのトークンの精度。1 回の予測は一連のトークンで構成されます。この指標は、評価データセットのグラウンド トゥルースと比較したときに予測されるトークンの精度を測定します。
• /eval_num_predictions: 評価ステップで予測されるトークンの数。

指標の可視化は、モデルのチューニング ジョブの完了後に利用できます。 チューニング ジョブの作成時に Vertex AI TensorBoard のインスタンス ID のみを指定し、評価データセットを指定しなかった場合、チューニング指標の可視化のみを使用できます。

トラブルシューティング

以下のトピックは、教師ありチューニングを使用した基盤テキストモデルのチューニングに関する問題の解決に役立ちます。

モデルをチューニングしようとすると、500 エラーまたは Internal error encountered が返される

モデルをチューニングしようとしたときにこの 500 エラーが発生した場合は、次の回避策を試してください。

次の cURL コマンドを実行して、空の Vertex AI データセットを作成します。コマンドの中でプロジェクト ID を構成していることを確認してください。

curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://europe-west4-aiplatform.googleapis.com/ui/projects/$PROJECT_ID/locations/europe-west4/datasets \
-d '{
    "display_name": "test-name1",
    "metadata_schema_uri": "gs://google-cloud-aiplatform/schema/dataset/metadata/image_1.0.0.yaml",
    "saved_queries": [{"display_name": "saved_query_name", "problem_type": "IMAGE_CLASSIFICATION_MULTI_LABEL"}]
}'

コマンドが完了したら、5 分待ってから再度モデルのチューニングを試みます。

Error: Permission 'aiplatform.metadataStores.get' denied on resource '...europe-west4/metadataStores/default'.

Compute Engine API が有効で、デフォルトの Compute Engine サービス アカウント（PROJECT_NUM‑compute@developer.gserviceaccount.com）に aiplatform.admin ロールと　storage.objectAdmin ロールが付与されていることを確認します。

aiplatform.admin ロールと storage.objectAdmin ロールを Compute Engine サービス アカウントに付与するには、次のコマンドを実行します。

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

   マシンのターミナルを使用する場合は、Google Cloud CLI をインストールして構成します。

2. gcloud projects add-iam-policy-binding コマンドを使用して、aiplatform.admin ロールを Compute Engine サービス アカウントに追加します。

   次のように置き換えます。

   • PROJECT_ID は、Google Cloud プロジェクト ID に置き換えます。
   • PROJECT_NUM は、Google Cloud プロジェクト番号に置き換えます。

   gcloud projects add-iam-policy-binding PROJECT_ID --member serviceAccount:PROJECT_NUM-compute@developer.gserviceaccount.com --role roles/aiplatform.admin
   

3. gcloud projects add-iam-policy-binding コマンドを使用して、storage.objectAdmin ロールを Compute Engine サービス アカウントに追加します。

   • PROJECT_ID は、Google Cloud プロジェクト ID に置き換えます。
   • PROJECT_NUM は、Google Cloud プロジェクト番号に置き換えます。

   gcloud projects add-iam-policy-binding PROJECT_ID --member serviceAccount:PROJECT_NUM-compute@developer.gserviceaccount.com  --role roles/storage.objectAdmin
   

Error: Vertex AI Service Agent service-{project-number}@gcp-sa-aiplatform.iam.gserviceaccount.com does not have permission to access Artifact Registry repository projects/vertex-ai-restricted/locations/us/repositories/llm.

この権限エラーは、伝播の遅延が原因です。再試行すると、このエラーは解決するはずです。

次のステップ

• チューニング済みモデルを評価する方法を学ぶ。
• RLHF チューニングを使用して基盤モデルをチューニングする方法を学ぶ。
• コードモデルをチューニングする方法を学ぶ。