Mistral AI モデル

Vertex AI の Mistral AI モデルは、API としてフルマネージド モデルとサーバーレス モデルを提供します。Vertex AI で Mistral AI モデルを使用するには、Vertex AI API エンドポイントにリクエストを直接送信します。Mistral AI モデルはマネージド API を使用します。インフラストラクチャをプロビジョニングしたり、管理する必要はありません。

レスポンスをストリーミングして、エンドユーザーのレイテンシを軽減できます。ストリーミング レスポンスでは、サーバー送信イベント（SSE）を使用してレスポンスを段階的にストリーミングします。

Mistral AI モデルは従量課金制です。従量課金制の料金については、Vertex AI の料金ページで Mistral AI モデルの料金をご覧ください。

利用可能な Mistral AI モデル

Vertex AI で使用できる Mistral AI のモデルは次のとおりです。Mistral AI モデルにアクセスするには、Model Garden のモデルカードに移動します。

Mistral Large（24.11）

Mistral Large（24.11）は、推論機能と関数呼び出し機能が強化された Mistral AI の Large モデルの最新バージョンです。

• エージェント中心: ネイティブ関数呼び出しと JSON 出力による優れたエージェント機能。
• 多言語対応: 英語、フランス語、ドイツ語、スペイン語、イタリア語、中国語、日本語、韓国語、ポルトガル語、オランダ語、ポーランド語など、多数の言語に対応しています。
• コーディングに精通している: Python、Java、C、C++、JavaScript、Bash など、80 を超えるコーディング言語でトレーニングされています。Swift や Fortran などの言語でもトレーニングされています。
• 高度な推論: 最先端の数学的推論機能。

Mistral Large（2407）

Mistral Large（2407）は、Mistral AI のテキスト生成用フラグシップ モデルです。最上位の推論機能を備え、テキストの理解、変換、コード生成などの複雑な多言語タスクに使用できます。詳細については、Mistral AI の Mistral Large（2407）に関する投稿をご覧ください。

Mistral Large（2407）は、次の点で優れています。

• 多言語対応: 英語、フランス語、ドイツ語、スペイン語、イタリア語、中国語、日本語、韓国語、ポルトガル語、オランダ語、ポーランド語など、多数の言語に対応しています。
• コーディングに精通している: Python、Java、C、C++、JavaScript、Bash など、80 を超えるコーディング言語でトレーニングされています。Swift や Fortran などの言語でもトレーニングされています。
• エージェント中心: ネイティブ関数呼び出しと JSON 出力による優れたエージェント機能。
• 高度な推論: 最先端の数学的推論機能。

Mistral Nemo

Mistral Nemo は、Mistral AI の費用対効果に優れた独自モデルです。低レイテンシのワークロードや、分類、カスタマー サポート、テキスト生成など、一括で実行できる単純なタスクに最適です。詳細については、Mistral AI のドキュメントをご覧ください。

Mistral Nemo は、次のようなユースケース向けに最適化されています。

• テキストの生成と分類。
• カスタマー サポートのシナリオ用のエージェントの作成。
• コードの生成、補完、レビュー、コメント。すべての主流のコーディング言語をサポートしています。

Codestral

Codestral は、コード生成タスク（Fill-In-the-Middle やコード補完など）向けに特別に設計され、最適化された生成モデルです。Codestral は 80 以上のプログラミング言語でトレーニングされているため、一般的な言語だけでなく、あまり一般的でない言語でも優れたパフォーマンスを発揮します。詳細については、Mistral AI のコード生成のドキュメントをご覧ください。

Codestral は、次のユースケース向けに最適化されています。

• コードの生成、コード補完、候補の提示、翻訳。
• コードを理解して、コードの概要と説明を提供。
• コードをリファクタリングし、バグを修正してテストケースを生成することで、コードの品質を確認。

Mistral AI モデルを使用する

Mistral AI のモデルを使用するリクエストを送信する場合は、次のモデル名を使用します。

• Mistral Large（24.11）の場合は、mistral-large-2411 を使用します。
• Mistral Large（2407）の場合は、mistral-large@2407 を使用します。
• Mistral Nemo の場合は mistral-nemo@2407 を使用します。
• Codestral の場合は codestral@2405 を使用します。

Mistral AI SDK の使用方法については、Mistral AI Vertex AI のドキュメントをご覧ください。

始める前に

Vertex AI で Mistral AI モデルを使用するには、次の操作を行う必要があります。Vertex AI を使用するには、Vertex AI API（aiplatform.googleapis.com）を有効にする必要があります。既存のプロジェクトで Vertex AI API が有効になっている場合は、新しいプロジェクトを作成する代わりに、そのプロジェクトを使用できます。

パートナー モデルを有効にして使用するために必要な権限があることを確認します。詳細については、必要な権限を付与するをご覧ください。

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Vertex AI API.

   Enable the API

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Vertex AI API.

   Enable the API

8. Mistral AI Model Garden のいずれかのモデルカードに移動し、[有効にする] をクリックします。

Mistral AI モデルにストリーミング呼び出しを行う

次のサンプルでは、Mistral AI モデルへのストリーミング呼び出しを行います。

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:streamRawPredict

{
"model": MODEL,
  "messages": [
   {
    "role": "ROLE",
    "content": "CONTENT"
   }],
  "max_tokens": MAX_TOKENS,
  "stream": true
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:streamRawPredict"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:streamRawPredict" | Select-Object -Expand Content

data: {
    "id": "0e9c8e69e5924f729b39bc60bac9e0be",
    "object": "chat.completion.chunk",
    "created": 1720807292,
    "model": "MODEL",
    "choices": [
        {
            "index": 0,
            "delta": {
              "content": "OUTPUT"
            },
            "finish_reason": null,
            "logprobs": null
        }
    ]
}

data: {
    "id": "0e9c8e69e5924f729b39bc60bac9e0be",
    "object": "chat.completion.chunk",
    "created": 1720807292,
    "model": "MODEL",
    "choices": [
        {
            "index": 0,
            "delta": {
              "content": "OUTPUT"
            },
            "finish_reason": null,
            "logprobs": null
        }
    ]
}
...

Mistral AI モデルに単一呼び出しを行う

次のサンプルでは、Mistral AI モデルへの単一呼び出しを行います。

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:rawPredict

{
"model": MODEL,
  "messages": [
   {
    "role": "ROLE",
    "content": "CONTENT"
   }],
  "max_tokens": MAX_TOKENS,
  "stream": false
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:rawPredict"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:rawPredict" | Select-Object -Expand Content

{
    "id": "e71d13ffb77344a08e34e0a22ea84458",
    "object": "chat.completion",
    "created": 1720806624,
    "model": "MODEL",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "OUTPUT",
                "tool_calls": null
            },
            "finish_reason": "stop",
            "logprobs": null
        }
    ],
    "usage": {
        "prompt_tokens": 17,
        "total_tokens": 295,
        "completion_tokens": 278
    }
}

Mistral AI モデルで利用可能なリージョンと割り当て

Mistral AI モデルの場合、モデルが使用可能なリージョンごとに割り当てが適用されます。割り当ては、1 分あたりのクエリ数（QPM）と 1 分あたりのトークン数（TPM）で指定されます。TPM には、入力トークンと出力トークンの両方が含まれます。

次の表に、各 Mistral AI モデルのサポートされているリージョン、デフォルトの割り当て、最大コンテキスト長を示します。

Mistral Large（24.11）

Mistral Large（2407）

Mistral Nemo

Codestral

Vertex AI の生成 AI の割り当てを引き上げる場合は、Google Cloud コンソールから割り当ての増加をリクエストできます。割り当ての詳細については、割り当てを操作するをご覧ください。