チューニングの概要

モデルのチューニングは、Gemini が特定のタスクをより高い精度と正確さで実行するように適応させるための重要なプロセスです。モデルのチューニングは、特定のダウンストリーム タスクのサンプルセットが含まれるトレーニング データセットをモデルに提供することで行われます。

このページでは、Gemini のモデル チューニングの概要、Gemini で利用可能なチューニング オプションについて説明しますので、各チューニング オプションを使用するタイミングを判断する際に役に立ちます。

モデルをチューニングするメリット

モデルのチューニングは、大規模なモデルをタスクに合わせてカスタマイズする効果的な方法です。これは、モデルの品質と効率性を改善するための重要なステップです。モデルのチューニングには次の利点があります。

  • 特定のタスクの品質が向上する
  • モデルの堅牢性の向上
  • プロンプトが短くなるため、推論のレイテンシとコストが低減される

チューニングとプロンプト設計の比較

  • 事前トレーニング済みの Gemini モデルによるプロンプト: プロンプトとは、Gemini などの AI モデルが目的の出力を生成できるように、効果的な指示を作成する技術です。そのためには、タスク、希望する形式、関連するコンテキストを明確に伝えるプロンプトを設計する必要があります。Gemini の機能は、最小限の設定で使用できます。次の場合に最適です。
    • ラベル付きデータが限られている場合: ラベル付きデータが少ない場合や、長時間のファインチューニング プロセスを実施できない場合。
    • 迅速なプロトタイピング: コンセプトをすばやくテストする必要がある場合や、ファインチューニングに多大な投資をせずにベースラインのパフォーマンスを取得する必要がある場合。
  • Gemini モデルのカスタム ファインチューニング: よりカスタマイズされた結果を得るために、Gemini では特定のデータセットでモデルを微調整できます。特定の分野で優れた AI モデルを作成するには、ファインチューニングを検討してください。これには、独自のラベル付きデータセットでベースモデルを再トレーニングし、その重みをタスクとデータに適応させることが含まれます。Gemini はユースケースに合わせて調整できます。ファインチューニングは、次のような場合に最も効果的です。
    • ラベル付きデータがある: トレーニング用の大規模なデータセット（100 個以上のサンプルなど）があり、モデルがタスクの仕様を深く理解できます。
    • 複雑なタスクや一意のタスク: 高度なプロンプト戦略では不十分で、データに合わせてチューニングされたモデルが必要なシナリオ。

最適なプロンプトを見つけるには、まずプロンプトの作成から始めることをおすすめします。次に、必要に応じてファインチューニングを行い、パフォーマンスをさらに向上させるか、繰り返し発生するエラーを修正します。例を追加することは有効ですが、データを追加する前に、モデルがどこで誤りを行っているか評価することが重要です。高品質で適切にラベル付けされたデータは、優れたパフォーマンスの実現に不可欠であり、量よりも優れています。また、ファインチューニングに使用するデータは、モデルが本番環境で遭遇するプロンプトの分布、形式、コンテキストを反映している必要があります。

チューニングには、次のような点でプロンプト設計よりもメリットがあります。

  • モデルを詳細にカスタマイズでき、特定のタスクでパフォーマンスが向上します。
  • カスタム構文、指示、ドメイン固有のセマンティック ルールに合わせてモデルを調整します。
  • 一貫性と信頼性の高い結果が得られます。
  • 複数のサンプルを一度に処理できます
  • 少数ショットの例や長い指示をプロンプトから削除して、推論時の費用を削減する

チューニングの方法

パラメータ効率チューニングと完全なファインチューニングは、大規模なモデルをカスタマイズするための 2 つのアプローチです。どちらの方法にも、モデルの品質とリソース効率の点でメリットと影響があります。

パラメータ効率チューニング

パラメータ効率チューニング（アダプタ チューニングとも呼ばれます）を使用すると、大規模なモデルを特定のタスクやドメインに効率的に適応させることができます。パラメータ効率チューニングでは、チューニング プロセス中にモデルのパラメータの比較的小さなサブセットを更新します。

Vertex AI がアダプタ チューニングとサービングをサポートする方法については、次のホワイトペーパー（大規模な基盤モデルの適応）をご覧ください。

フル ファインチューニング

フル ファインチューニングでは、モデルのすべてのパラメータが更新されるため、モデルを高度な複雑なタスクに適応させることができ、より高い品質を実現できる可能性があります。ただし、フル ファインチューニングを行うと、チューニングとサービングの両方でコンピューティング リソースが大量に必要になり、全体的なコストが高くなります。

フル ファインチューニングと比較したパラメータ効率チューニング

パラメータ効率チューニングは、フル ファインチューニングよりもリソース効率と費用対効果に優れています。トレーニングに必要な計算リソースが大幅に少なくなります。小規模なデータセットでモデルをより迅速に適応させることができます。パラメータ効率チューニングは柔軟であるため、大規模な再トレーニングを必要としないマルチタスク学習に適したソリューションが提供されます。

サポートされているチューニング方法

Vertex AI は、教師ありファインチューニングを使用して基盤モデルをカスタマイズできます。

教師ありファインチューニング

教師ありファインチューニングでは、新しいスキルを教えることでモデルのパフォーマンスを改善します。ラベル付けされた何百ものサンプルを含むデータを使用して、目的の動作やタスクを模倣するようモデルに学習させます。ラベル付きの各例は、推論中にモデルに出力させる内容を示しています。

教師ありファインチューニング ジョブを実行すると、モデルは、目的のタスクの実行や目的の動作の学習に必要な情報をエンコードすることに役立つ追加のパラメータを学習します。これらのパラメータは推論の際に使用されます。チューニング ジョブの出力は、新しく学習したパラメータを元のモデルと組み合わせた新しいモデルです。

テキストモデルの教師ありファインチューニングは、モデルの出力が複雑ではなく、比較的定義が簡単な場合に適しています。分類、感情分析、エンティティ抽出、複雑でないコンテンツの要約、ドメイン固有のクエリの作成には、教師ありのファインチューニングが推奨されます。コードモデルの場合は、教師ありのチューニングが唯一の選択肢です。

教師ありファインチューニングをサポートするモデル

  • gemini-1.5-pro-002（GA）
  • gemini-1.5-flash-002（GA）
  • gemini-1.0-pro-002（プレビュー版、テキスト チューニングのみをサポート）

各モデルで教師ありファインチューニングを使用する方法の詳細については、テキスト、画像、音声、ドキュメントのデータタイプをチューニングするをご覧ください。

次のステップ