适用于 MaaS 的 Vertex AI 合作伙伴模型

Vertex AI 支持一组精选的由 Google 合作伙伴开发的模型。合作伙伴模型可与 Vertex AI 搭配，作为模型即服务 (MaaS) 使用，并作为托管式 API 提供。使用合作伙伴模型时，您可以继续向 Vertex AI 端点发送请求。合作伙伴模型是无服务器服务，因此您无需预配或管理基础设施。

您可以使用 Model Garden 发现合作伙伴模型，还可以使用 Model Garden 部署模型。如需了解详情，请参阅在 Model Garden 中探索 AI 模型。您可以在 Model Garden 中的模型卡片上找到每个可用合作伙伴模型的信息，但本指南仅记录了与 Vertex AI 搭配，作为 MaaS 执行的第三方模型。

Anthropic Claude 和 Mistral 模型是可在 Vertex AI 上使用的第三方托管式模型的示例。

Vertex AI 合作伙伴模型价格（含容量保证）

Google 为某些合作伙伴模型提供预配的吞吐量，以便以固定费用为您的模型预留吞吐量。您可以决定吞吐量容量以及在哪些区域预留该容量。由于预配吞吐量请求的优先级高于标准随用随付请求，因此预配吞吐量可提高可用性。当系统过载时，只要吞吐量保持在预留吞吐量容量范围内，您的请求仍可完成。如需了解详情或订阅该服务，请与销售人员联系。

向用户授予对合作伙伴模型的访问权限

如需启用合作伙伴模型并发出提示请求，Google Cloud 管理员必须设置所需的权限并验证组织政策是否允许使用所需的 API。

设置使用合作伙伴模型所需的权限

使用合作伙伴模式需要拥有以下角色和权限：

  • 您必须拥有 Consumer Procurement Entitlement Manager Identity and Access Management (IAM) 角色。任何被授予此角色的用户都可以在 Model Garden 中启用合作伙伴模型。

  • 您必须拥有 aiplatform.endpoints.predict 权限。此权限包含在 Vertex AI User IAM 角色中。如需了解详情，请参阅 Vertex AI User 和访问权限控制。

控制台

  1. 如需向用户授予 Consumer Procurement Entitlement Manager IAM 角色，请转到 IAM 页面。

    进入 IAM

  2. 在主账号列中，找到要为其启用合作伙伴模型访问权限的用户主账号，然后在对应的行中点击 　修改主账号。

  3. 在修改权限窗格中，点击　　添加其他角色。

  4. 在选择角色中，选择 Consumer Procurement Entitlement Manager。

  5. 在修改权限窗格中，点击　　添加其他角色。

  6. 在选择角色中，选择 Vertex AI User。

  7. 点击保存。

gcloud

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

  2. 授予在 Model Garden 中启用合作伙伴模型所需的 Consumer Procurement Entitlement Manager 角色

    gcloud projects add-iam-policy-binding  PROJECT_ID \
--member=PRINCIPAL --role=roles/consumerprocurement.entitlementManager

  3. 授予包含发出提示请求所需的 aiplatform.endpoints.predict 权限的 Vertex AI User 角色：

    gcloud projects add-iam-policy-binding  PROJECT_ID \
--member=PRINCIPAL --role=roles/aiplatform.user

    将 PRINCIPAL 替换为主账号的标识符。标识符的格式为 user|group|serviceAccount:email 或 domain:domain，例如 user:cloudysanfrancisco@gmail.com、group:admins@example.com、serviceAccount:test123@example.domain.com 或 domain:example.domain.com。

    输出是一个政策绑定列表，其中包含以下内容：

    - members:
  - user:PRINCIPAL
  role: roles/roles/consumerprocurement.entitlementManager

    如需了解详情，请参阅授予单个角色和　gcloud projects add-iam-policy-binding。

为合作伙伴模式访问权限设置组织政策

如需启用合作伙伴模型，您的组织政策必须允许使用以下 API：

  • Cloud Commerce Consumer Procurement API - cloudcommerceconsumerprocurement.googleapis.com
  • Commerce Agreement API - commerceagreement.googleapis.com

如果您的组织将组织政策设置为限制服务的使用，则组织管理员必须通过设置组织政策来验证是否允许 cloudcommerceconsumerprocurement.googleapis.com 和 commerceagreement.googleapis.com。

此外，如果您有在 Model Garden 中限制模型使用情况的组织政策，则该政策必须允许访问合作伙伴模型。如需了解详情，请参阅控制模型访问权限。