独自のデータを使用してモデルをチューニングする

このドキュメントでは、Vertex AI モデルを参照する BigQuery ML リモートモデルを作成し、教師ありチューニングを実行するようにモデルを構成する方法について説明します。Vertex AI モデルは次のいずれかである必要があります。

• gemini-1.5-pro-002
• gemini-1.5-flash-002
• gemini-1.0-pro-002（プレビュー）

リモートモデルを作成したら、ML.EVALUATE 関数を使用してモデルを評価し、モデルのパフォーマンスがユースケースに適していることを確認します。このモデルを ML.GENERATE_TEXT 関数と組み合わせて使用すると、BigQuery テーブルのテキストを分析できます。

詳細については、Vertex AI Gemini API モデルの教師ありチューニングをご覧ください。

必要な権限

• 接続を作成するには、次の Identity and Access Management（IAM）ロールのメンバーシップが必要です。

  • roles/bigquery.connectionAdmin

• 接続のサービス アカウントに権限を付与するには、次の権限が必要です。

  • resourcemanager.projects.setIamPolicy

• BigQuery ML を使用してモデルを作成するには、次の IAM 権限が必要です。

  • bigquery.jobs.create
  • bigquery.models.create
  • bigquery.models.getData
  • bigquery.models.updateData
  • bigquery.models.updateMetadata

• 推論を実行するには、次の権限が必要です。

  • テーブルに対する bigquery.tables.getData
  • モデルに対する bigquery.models.getData
  • bigquery.jobs.create

始める前に

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

2. Make sure that billing is enabled for your Google Cloud project.

3. Enable the BigQuery, BigQuery Connection,Vertex AI, and Compute Engine APIs.

   Enable the APIs

接続を作成する

クラウド リソース接続を作成し、接続のサービス アカウントを取得します。

次のオプションのいずれかを選択します。

# This queries the provider for project information.
data "google_project" "default" {}

# This creates a cloud resource connection in the US region named my_cloud_resource_connection.
# Note: The cloud resource nested object has only one output field - serviceAccountId.
resource "google_bigquery_connection" "default" {
  connection_id = "my_cloud_resource_connection"
  project       = data.google_project.default.project_id
  location      = "US"
  cloud_resource {}
}

接続のサービス アカウントにアクセス権を付与する

サービス アカウントに Vertex AI へのアクセス権を付与します。権限を付与しないと、エラーが発生します。次のオプションのいずれかを選択します。

gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/aiplatform.serviceAgent' --condition=None

接続に関連付けられたサービス アカウントは BigQuery Connection Delegation サービス エージェントのインスタンスであるため、サービス エージェントのロールを割り当てることができます。

教師ありチューニングでモデルを作成する

1. Google Cloud コンソールで [BigQuery] ページに移動します。

   [BigQuery] に移動

2. クエリエディタで次のクエリを実行して、リモートモデルを作成します。

   CREATE OR REPLACE MODEL
   `PROJECT_ID.DATASET_ID.MODEL_NAME`
   REMOTE WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`
   OPTIONS (
     ENDPOINT = 'ENDPOINT',
     MAX_ITERATIONS = MAX_ITERATIONS,
     LEARNING_RATE_MULTIPLIER = LEARNING_RATE_MULTIPLIER,
     DATA_SPLIT_METHOD = 'DATA_SPLIT_METHOD',
     DATA_SPLIT_EVAL_FRACTION = DATA_SPLIT_EVAL_FRACTION,
     DATA_SPLIT_COL = 'DATA_SPLIT_COL',
     EVALUATION_TASK = 'EVALUATION_TASK',
     PROMPT_COL = 'INPUT_PROMPT_COL',
     INPUT_LABEL_COLS = INPUT_LABEL_COLS)
   AS SELECT PROMPT_COLUMN, LABEL_COLUMN
   FROM `TABLE_PROJECT_ID.TABLE_DATASET.TABLE_NAME`;

   次のように置き換えます。

   • PROJECT_ID: モデルの作成を行うプロジェクトのプロジェクト ID。
   • DATASET_ID: モデルを保存するデータセットの ID。このデータセットは、サポートされているパイプライン ジョブとモデル アップロード リージョンに存在する必要があります。
   • MODEL_NAME: モデルの名前。
   • REGION: 接続で使用されるリージョン。
   • CONNECTION_ID: BigQuery 接続の ID。この接続は、使用しているデータセットと同じロケーションに存在する必要があります。

     Google Cloud コンソールで接続の詳細を表示する場合、これは [接続 ID] に表示される完全修飾接続 ID の最後のセクションの値です。例: projects/myproject/locations/connection_location/connections/myconnection

   • ENDPOINT: 使用するモデルの名前を指定する STRING 値。
   • MAX_ITERATIONS: INT64 値。教師ありチューニングで実行するステップ数を指定します。MAX_ITERATIONS 値は 1～∞ の範囲で指定してください。

     Gemini モデルはステップではなくエポックを使用してトレーニングするため、BigQuery ML は MAX_ITERATIONS 値をエポックに変換します。MAX_ITERATIONS のデフォルト値は、入力データの行数で 1 エポックに相当します。複数のエポックを使用するには、トレーニング データの行数を基準にエポックの数を指定します。たとえば、入力データが 100 行あり、2 つのエポックを使用する場合は、引数の値に 200 を指定します。入力データの行数に整数倍でない値を指定すると、BigQuery ML は最も近いエポックに切り上げます。たとえば、入力データが 100 行あり、MAX_ITERATIONS 値に 101 を指定すると、2 つのエポックでトレーニングが実行されます。

     Gemini モデルのチューニングに使用されるパラメータの詳細については、チューニング ジョブを作成するをご覧ください。

   • DATA_SPLIT_METHOD: STRING 値。入力データをトレーニング セットと評価セットに分割する方法を指定します。有効なオプションは次のとおりです。
     • AUTO_SPLIT: BigQuery ML はデータを自動的に分割します。データの分割方法は入力テーブルの行数によって異なります。これはデフォルト値です。
     • RANDOM: データは、セットに分割される前にランダム化されます。データ分割をカスタマイズするには、このオプションを DATA_SPLIT_EVAL_FRACTION オプションとともに使用します。
     • CUSTOM: DATA_SPLIT_COL オプションで指定された列を使用してデータが分割されます。DATA_SPLIT_COL の値は、BOOL 型の列の名前にする必要があります。値が TRUE または NULL の行は評価データとして使用されます。値が FALSE の行はトレーニング データとして使用されます。
     • SEQ: DATA_SPLIT_COL オプションで指定された列を使用してデータを分割します。DATA_SPLIT_COL の値は、次のいずれかの型の列の名前にする必要があります。
       • NUMERIC
       • BIGNUMERIC
       • STRING
       • TIMESTAMP

       指定された列でデータが小さい順から大きい順に並べ替えられます。

       最初の n 行が評価データとして使用されます。ここで、n は DATA_SPLIT_EVAL_FRACTION に指定された値です。残りの行はトレーニング データとして使用されます。

     • NO_SPLIT: データ分割なし。すべての入力データがトレーニング データとして使用されます。

     これらのデータ分割オプションの詳細については、DATA_SPLIT_METHOD をご覧ください。

   • DATA_SPLIT_EVAL_FRACTION: FLOAT64 値。教師ありチューニングの際に評価データとして使用するデータの割合を指定します。[0, 1.0] の範囲内の値にする必要があります。デフォルト値は 0.2 です。

     このオプションは、DATA_SPLIT_METHOD オプションの値として RANDOM または SEQ を指定する場合に使用します。データ分割をカスタマイズするには、DATA_SPLIT_METHOD オプションと DATA_SPLIT_EVAL_FRACTION オプションを使用します。

   • DATA_SPLIT_COL: STRING 値。入力データをトレーニング セットまたは評価セットに並べ替える際に使用する列の名前を指定します。DATA_SPLIT_METHOD オプションの値として CUSTOM または SEQ を指定する場合に使用します。
   • EVALUATION_TASK: STRING 値。モデルのチューニングで実行するタスクのタイプを指定します。有効なオプションは次のとおりです。
     • TEXT_GENERATION
     • CLASSIFICATION
     • SUMMARIZATION
     • QUESTION_ANSWERING
     • UNSPECIFIED

     デフォルト値は UNSPECIFIED です。

   • INPUT_PROMPT_COL: STRING 値。トレーニング データ テーブルのプロンプト列の名前。これは、教師ありチューニングの実行時に使用されます。デフォルト値は prompt です。
   • INPUT_LABEL_COLS: ARRAY<<STRING> 値。トレーニング データ テーブルのラベル列の名前。これは、教師ありチューニングで使用します。配列で指定できる要素は 1 つだけです。デフォルト値は空の配列です。これにより、label が LABEL_COLUMN 引数のデフォルト値になります。
   • PROMPT_COLUMN: LABEL_COLUMN 列のコンテンツを評価するためのプロンプトが含まれているトレーニング データ テーブル内の列。この列は STRING 型であるか、STRING にキャストされる必要があります。INPUT_PROMPT_COL オプションの値を指定する場合は、PROMPT_COLUMN にも同じ値を指定する必要があります。それ以外の場合は、この値を prompt にする必要があります。テーブルに prompt 列がない場合は、エイリアスを使用して既存のテーブル列を指定します。例: AS SELECT hint AS prompt, label FROM mydataset.mytable。
   • LABEL_COLUMN: モデルをトレーニングする例を含むトレーニング データ テーブルの列。この列は STRING 型であるか、STRING にキャストされる必要があります。INPUT_LABEL_COLS オプションの値を指定する場合は、LABEL_COLUMN にも同じ値を指定する必要があります。それ以外の場合は、この値を label にする必要があります。テーブルに label 列がない場合は、エイリアスを使用して既存のテーブル列を指定します。例: AS SELECT prompt, feature AS label FROM mydataset.mytable。
   • TABLE_PROJECT_ID: トレーニング データ テーブルを含むプロジェクトのプロジェクト ID。
   • TABLE_DATASET: トレーニング データ テーブルを含むデータセットの名前。
   • TABLE_NAME: モデルのトレーニングに使用するデータを含むテーブルの名前。

チューニング済みモデルを評価する

1. Google Cloud コンソールで [BigQuery] ページに移動します。

   [BigQuery] に移動

2. クエリエディタで次のクエリを実行して、チューニングされたモデルを評価します。

   SELECT
   *
   FROM
   ML.EVALUATE(
     MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
     TABLE `TABLE_PROJECT_ID.TABLE_DATASET.TABLE_NAME`,
     STRUCT('TASK_TYPE' AS task_type, TOKENS AS max_output_tokens,
       TEMPERATURE AS temperature, TOP_K AS top_k,
       TOP_P AS top_p));

   次のように置き換えます。

   • PROJECT_ID: モデルを含むプロジェクトのプロジェクト ID。
   • DATASET_ID: モデルを格納するデータセットの ID。
   • MODEL_NAME: モデルの名前。
   • TABLE_PROJECT_ID: 評価データテーブルを含むプロジェクトのプロジェクト ID。
   • TABLE_DATASET: 評価データテーブルを含むデータセットの名前。
   • TABLE_NAME: 評価データを含むテーブルの名前。

     テーブルには、モデルのトレーニング時に指定されたプロンプト列名と一致する名前の列が必要です。この値は、モデルのトレーニング中に prompt_col オプションを使用して指定できます。prompt_col が指定されていない場合、トレーニング データの prompt という名前の列が使用されます。prompt という名前の列が存在しない場合、エラーが返されます。

     テーブルには、モデルのトレーニング中に指定されたラベル列名と一致する名前の列が必要です。この値は、モデルのトレーニング中に input_label_cols オプションを使用して指定できます。input_label_cols が未指定の場合は、トレーニング データで label という名前の列が使用されます。label という名前の列が存在しない場合、エラーが返されます。

   • TASK_TYPE: STRING 値。モデルを評価するタスクのタイプを指定します。有効なオプションは次のとおりです。
     • TEXT_GENERATION
     • CLASSIFICATION
     • SUMMARIZATION
     • QUESTION_ANSWERING
     • UNSPECIFIED
   • TOKENS: INT64 値。レスポンスで生成できるトークンの最大数を設定します。この値は [1,1024] の範囲内である必要があります。レスポンスを短くしたい場合は小さい値を、長くしたい場合は大きい値を指定します。デフォルトは 128 です。
   • TEMPERATURE: FLOAT64 値。トークン選択のランダム性の度合いを制御します。[0.0,1.0] の範囲内の値にする必要があります。デフォルトは 0 です。

     temperature の値が小さいほど、確定的でオープンなレスポンスやクリエイティブのレスポンスが少ないプロンプトに適しています。一方、temperature の値が大きいほど、多様な結果やクリエイティブの結果が生成される可能性があります。temperature の 0 の値は確定的であり、最も高い確率のレスポンスが常に選択されることを意味します。

   • TOP_K: [1,40] の範囲内の INT64 値。これにより、モデルが選択を検討するトークンの初期プールが決まります。ランダムなレスポンスを減らしたい場合は小さい値を、ランダムなレスポンスを増やしたい場合は大きい値を指定します。デフォルト値は 40　です。
   • TOP_P: FLOAT64 値。TOP_K によって決定されるプールからどのトークンを選択するかを指定します。[0.0,1.0] の範囲内の値にする必要があります。ランダムなレスポンスが少ない場合は低い値を指定し、ランダムなレスポンスが多い場合は高い値を指定します。デフォルトは 0.95 です。

テキストを生成する

ML.GENERATE_TEXT 関数を使用してテキストを生成します。

SELECT *
FROM ML.GENERATE_TEXT(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  TABLE PROJECT_ID.DATASET_ID.TABLE_NAME,
  STRUCT(TOKENS AS max_output_tokens, TEMPERATURE AS temperature,
  TOP_P AS top_p, FLATTEN_JSON AS flatten_json_output,
  STOP_SEQUENCES AS stop_sequences)
);

SELECT *
FROM
  ML.GENERATE_TEXT(
    MODEL `mydataset.mymodel`,
    TABLE mydataset.prompts,
    STRUCT(
      0.4 AS temperature, 100 AS max_output_tokens, 0.5 AS top_p,
      TRUE AS flatten_json_output));

SELECT *
FROM ML.GENERATE_TEXT(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  (PROMPT_QUERY),
  STRUCT(TOKENS AS max_output_tokens, TEMPERATURE AS temperature,
  TOP_P AS top_p, FLATTEN_JSON AS flatten_json_output,
  STOP_SEQUENCES AS stop_sequences)
);

SELECT *
FROM
  ML.GENERATE_TEXT(
    MODEL `mydataset.mymodel`,
    (
      SELECT CONCAT('Summarize this text', body) AS prompt
      FROM mydataset.articles
    ),
    STRUCT(
      0.2 AS temperature, 650 AS max_output_tokens, 0.2 AS top_p,
      TRUE AS flatten_json_output));

SELECT *
FROM
  ML.GENERATE_TEXT(
    MODEL `mydataset.mytuned_model`,
    (
      SELECT CONCAT(question, 'Text:', description, 'Category') AS prompt
      FROM mydataset.input_table
    ),
    STRUCT(
      0.4 AS temperature, 100 AS max_output_tokens, 0.5 AS top_p,
      FALSE AS flatten_json_output));