Mistral AI 模型

使用集合让一切井井有条 根据您的偏好保存内容并对其进行分类。

Vertex AI 上的 Mistral AI 模型以 API 形式提供全托管式无服务器模型。如需使用 Vertex AI 上的 Mistral AI 模型，请直接向 Vertex AI API 端点发送请求。由于 Mistral AI 模型使用托管式 API，因此无需预配或管理基础架构。

您可以流式传输回答，以降低最终用户对延迟时间的感知度。流式回答使用服务器发送的事件 (SSE) 来逐步流式传输回答。

Mistral AI 模型按实际用量付费（随用随付）。如需了解随用随付价格，请参阅 Vertex AI 价格页面上的 Mistral AI 模型价格。

可用的 Mistral AI 模型

Mistral AI 提供了以下模型，可在 Vertex AI 中使用。如需访问 Mistral AI 模型，请前往其 Model Garden 模型卡片。

Mistral Small 3.1 (25.03)

Mistral Small 3.1 (25.03) 具有多模态功能，上下文可达 128,000 个。与之前的 Mistral AI Small 模型相比，该模型可以处理和理解视觉输入和长篇文档，从而进一步扩大了其应用范围。Mistral Small 3.1 (25.03) 是一款多用途模型，专为编程、数学推理、文档理解和对话等各种任务而设计。Mistral Small 3.1 (25.03) 专为低延迟应用而设计，与同等质量的模型相比，可提供一流的效率。

Mistral Small 3.1 (25.03) 已完成完整的后期训练流程，以使模型与用户的偏好和需求保持一致，从而让其可直接用于需要聊天或精确执行指令的应用。

Mistral Large (24.11)

Mistral Large (24.11) 是 Mistral AI 大模型的最新版本，其中的推理和函数调用功能得到了改进。

• 以代理为中心：具有内置函数调用和 JSON 输出的一流智能体功能。
• 设计时考虑到多语言支持：支持数十种语言，包括英语、法语、德语、西班牙语、意大利语、中文、日语、韩语、葡萄牙语、荷兰语和波兰语
• 精通编码：针对 80 多种编码语言进行了训练，例如 Python、Java、C、C++、JavaScript 和 Bash。此外，还针对更具体的语言（例如 Swift 和 Fortran）进行了训练
• 高级推理：领先的数学和推理功能。

Mistral Nemo

Mistral Nemo 是 Mistral AI 成本效益最高的专有模型。它是低延迟工作负载和批量处理型基本任务的理想选择，例如分类、客户服务和文本生成。如需了解详情，请参阅 Mistral AI 的文档。

Mistral Nemo 针对以下应用场景进行了优化：

• 文本生成和分类。
• 为客户服务场景构建智能体。
• 生成代码、补全、审核和注释。支持所有主流编码语言。

Codestral (25.01)

Codestral (25.01) 专为代码生成任务而设计。该模型可以通过共享指令和补全 API 端点帮助开发者编写代码并与之交互。由于它掌握代码并能够用多种语言进行对话，您可以使用 Codestral (25.01) 为软件开发者设计高级 AI 应用。

• Codestral (25.01) 精通 80 多种编程语言，包括 Python、Java、C、C++、JavaScript 和 Bash。它还能很好地处理更具体的语言，例如 Swift 和 Fortran。
• Codestral (25.01) 有助于提高开发者的效率并减少错误：Codestral (25.01) 可以完成编码函数、编写测试，并使用中间填充机制完成任何部分代码。
• Codestral (25.01) 提供了一个新的性能和延迟时间标准，仅包含 24B 参数和 128,000 个上下文窗口。

Codestral (25.01) 针对以下应用场景进行了优化：

• 生成代码，并提供代码补全、建议和转换。
• 在用户定义的起点和终点之间添加代码，非常适合需要生成特定代码的任务。
• 对代码进行摘要和说明。
• 通过帮助重构代码、修复 bug 和生成测试用例来检查代码的质量。

使用 Mistral AI 模型

发送使用 Mistral AI 模型的请求时，请使用以下模型名称：

• 对于 Mistral Small 3.1 (25.03)，请使用 mistral-small-2503。
• 对于 Mistral Large (24.11)，请使用 mistral-large-2411。
• 对于 Mistral Nemo，请使用 mistral-nemo@2407。
• 对于 Codestral (25.01)，请使用 codestral-2501。

如需详细了解如何使用 Mistral AI SDK，请参阅 Mistral AI Vertex AI 文档。

准备工作

如需将 Mistral AI 模型与 Vertex AI 搭配使用，您必须执行以下步骤。必须启用 Vertex AI API (aiplatform.googleapis.com) 才能使用 Vertex AI。如果您已有启用了 Vertex AI API 的项目，则可以使用该项目，而无需创建新项目。

确保您拥有启用和使用合作伙伴模型所需的权限。如需了解详情，请参阅授予所需权限。

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Vertex AI API.

   Enable the API

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Vertex AI API.

   Enable the API

8. 前往 Mistral AI Model Garden 的某个模型卡片，然后点击启用。

对 Mistral AI 模型进行流式调用

以下示例对 Mistral AI 模型进行流式调用。

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:streamRawPredict

{
"model": MODEL,
  "messages": [
   {
    "role": "ROLE",
    "content": "CONTENT"
   }],
  "max_tokens": MAX_TOKENS,
  "stream": true
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:streamRawPredict"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:streamRawPredict" | Select-Object -Expand Content

data: {
    "id": "0e9c8e69e5924f729b39bc60bac9e0be",
    "object": "chat.completion.chunk",
    "created": 1720807292,
    "model": "MODEL",
    "choices": [
        {
            "index": 0,
            "delta": {
              "content": "OUTPUT"
            },
            "finish_reason": null,
            "logprobs": null
        }
    ]
}

data: {
    "id": "0e9c8e69e5924f729b39bc60bac9e0be",
    "object": "chat.completion.chunk",
    "created": 1720807292,
    "model": "MODEL",
    "choices": [
        {
            "index": 0,
            "delta": {
              "content": "OUTPUT"
            },
            "finish_reason": null,
            "logprobs": null
        }
    ]
}
...

对 Mistral AI 模型进行一元调用

以下示例对 Mistral AI 模型进行一元调用。

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:rawPredict

{
"model": MODEL,
  "messages": [
   {
    "role": "ROLE",
    "content": "CONTENT"
   }],
  "max_tokens": MAX_TOKENS,
  "stream": false
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:rawPredict"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:rawPredict" | Select-Object -Expand Content

{
    "id": "e71d13ffb77344a08e34e0a22ea84458",
    "object": "chat.completion",
    "created": 1720806624,
    "model": "MODEL",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "OUTPUT",
                "tool_calls": null
            },
            "finish_reason": "stop",
            "logprobs": null
        }
    ],
    "usage": {
        "prompt_tokens": 17,
        "total_tokens": 295,
        "completion_tokens": 278
    }
}

Mistral AI 模型区域可用性和配额

对于 Mistral AI 模型，提供该模型的每个区域都有相应的配额。配额在每分钟查询次数 (QPM) 和每分钟词元数 (TPM) 中指定。TPM 包括输入和输出词元。

下表列出了每个 Mistral AI 模型支持的区域、默认配额和最大上下文长度：

Mistral Small 3.1 (25.03)

Mistral Large (24.11)

Mistral Nemo

Codestral (25.01)

若要增加 Vertex AI 上的生成式 AI 的任何配额，您可以使用 Google Cloud 控制台申请增加配额。如需详细了解配额，请参阅使用配额。