適切に機能するプロンプトを設計するには、さまざまなバージョンのプロンプトをテストし、プロンプト パラメータを使用してテストを行い、最適なレスポンスが得られるかどうかを判断します。プロンプトは、Codey API を使用してプログラムでテストできます。また、Google Cloud コンソールの Vertex AI Studio でテストすることもできます。
コード補完プロンプトをテストする
コード補完プロンプトをテストするには、次のいずれかの方法を選択します。
REST
Vertex AI API でコード補完プロンプトをテストするには、パブリッシャー モデル エンドポイントに POST リクエストを送信します。
リクエストのデータを使用する前に、次のように置き換えます。
- PROJECT_ID: 実際のプロジェクト ID。
- PREFIX: コードモデルの場合、
prefix
は、意味のあるプログラミング コードの一部、または生成されるコードを記述する自然言語プロンプトの開始を表します。モデルは、prefix
とsuffix
の間のコードの入力を試みます。 - SUFFIX: コード補完の場合、
suffix
は意味のあるプログラミング コードの終了を表します。モデルは、prefix
とsuffix
の間のコードの入力を試みます。 - TEMPERATURE: 温度は、レスポンス生成時のサンプリングに使用されます。温度は、トークン選択のランダム性の度合いを制御します。温度が低いほど、確定的で自由度や創造性を抑えたレスポンスが求められるプロンプトに適しています。一方、温度が高いと、より多様で創造的な結果を導くことができます。温度が
0
の場合、確率が最も高いトークンが常に選択されます。この場合、特定のプロンプトに対するレスポンスはほとんど確定的ですが、わずかに変動する可能性は残ります。 - MAX_OUTPUT_TOKENS: レスポンスで生成できるトークンの最大数。1 トークンは約 4 文字です。100 トークンは約 60~80 語に相当します。
レスポンスを短くしたい場合は小さい値を、長くしたい場合は大きい値を指定します。
- CANDIDATE_COUNT: レスポンスのバリエーションの数。リクエストごとに、すべての候補の出力トークンが課金されますが、入力トークンは 1 回のみ課金されます。
複数の候補を指定する機能は、
generateContent
で動作するプレビュー機能です(streamGenerateContent
はサポートされていません)。次のモデルがサポートされています。- Gemini 1.5 Flash:
1
~8
、デフォルト:1
- Gemini 1.5 Pro:
1
~8
、デフォルト:1
- Gemini 1.0 Pro:
1
~8
、デフォルト:1
int
です。 - Gemini 1.5 Flash:
HTTP メソッドと URL:
POST https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/code-gecko:predict
リクエストの本文(JSON):
{ "instances": [ { "prefix": "PREFIX", "suffix": "SUFFIX"} ], "parameters": { "temperature": TEMPERATURE, "maxOutputTokens": MAX_OUTPUT_TOKENS, "candidateCount": CANDIDATE_COUNT } }
リクエストを送信するには、次のいずれかのオプションを選択します。
curl
リクエスト本文を request.json
という名前のファイルに保存して、次のコマンドを実行します。
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/code-gecko:predict"
PowerShell
リクエスト本文を request.json
という名前のファイルに保存して、次のコマンドを実行します。
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/code-gecko:predict" | Select-Object -Expand Content
次のような JSON レスポンスが返されます。
Python
Vertex AI SDK for Python のインストールまたは更新の方法については、Vertex AI SDK for Python をインストールするをご覧ください。 詳細については、Python API リファレンス ドキュメントをご覧ください。
Node.js
このサンプルを試す前に、Vertex AI クイックスタート: クライアント ライブラリの使用にある Node.js の設定手順を完了してください。詳細については、Vertex AI Node.js API のリファレンス ドキュメントをご覧ください。
Vertex AI に対する認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の認証を設定するをご覧ください。
Java
このサンプルを試す前に、Vertex AI クイックスタート: クライアント ライブラリの使用にある Java の設定手順を完了してください。詳細については、Vertex AI Java API のリファレンス ドキュメントをご覧ください。
Vertex AI に対する認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の認証を設定するをご覧ください。
Console
Google Cloud コンソールで Vertex AI Studio を使用してコード補完プロンプトをテストする手順は次のとおりです。
- Google Cloud コンソールの [Vertex AI] セクションで、[Vertex AI Studio] に移動します。
- [Get started] をクリックします。
- [ コード プロンプト] をクリックします。
- [モデル] で、名前が
code-gecko
で始まるモデルを選択します。code-gecko
の後の 3 桁の数字は、モデルのバージョン番号を示します。たとえば、code-gecko@002
は、安定版のコード補完モデル バージョン 2 の名前です。 - [Prompt] で、コード補完プロンプトを入力します。
- [Temperature] と [トークンの上限] を調整して、レスポンスへの影響をテストします。詳細については、コード補完モデル パラメータをご覧ください。
- [送信] をクリックしてレスポンスを生成します。
- プロンプトを保存する場合は [ 保存] をクリックします。
- [ コードを表示] をクリックして、プロンプトの Python コードまたは curl コマンドを表示します。
curl コマンドの例
MODEL_ID="code-gecko"
PROJECT_ID=PROJECT_ID
curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://us-central1-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/us-central1/publishers/google/models/${MODEL_ID}:predict -d \
$"{
'instances': [
{ 'prefix': 'def reverse_string(s):',
'suffix': ''
}
],
'parameters': {
'temperature': 0.2,
'maxOutputTokens': 64,
'candidateCount': 1
}
}"
コード補完プロンプトの設計について詳しくは、コード補完のプロンプトを作成するをご覧ください。
コードモデルからのレスポンスをストリーミングする
REST API を使用してサンプルコードのリクエストとレスポンスを表示するには、ストリーミング REST API の使用例をご覧ください。
Vertex AI SDK for Python を使用してサンプルコードのリクエストとレスポンスを表示するには、ストリーミングでの Vertex AI SDK for Python の使用例をご覧ください。
次のステップ
- コード補完プロンプトを作成する方法を学習する。
- コード生成プロンプトの作成方法を学習する。
- 責任ある AI のベスト プラクティスと Vertex AI の安全フィルタについて学習する。