将预留与预测结合使用

使用集合让一切井井有条 根据您的偏好保存内容并对其进行分类。

REST

在使用任何请求数据之前，请先进行以下替换：

• LOCATION_ID：您在其中使用 Vertex AI 的区域。
• PROJECT_ID：在其中创建预留的项目。如需使用其他项目的共享预留，您必须与该项目共享预留。如需了解详情，请参阅修改共享预留中的使用方项目。
• ENDPOINT_ID：端点的 ID。
• MODEL_ID：要部署的模型的 ID。
• DEPLOYED_MODEL_NAME：DeployedModel 的名称。您还可以将 Model 的显示名用于 DeployedModel。
• MACHINE_TYPE：此部署中每个节点使用的机器类型。其默认设置为 n1-standard-2。如需详细了解支持的机器类型，请参阅为预测配置计算资源。
• ACCELERATOR_TYPE：要挂接到机器的加速器类型。如需详细了解每种机器类型支持的 GPU 类型，请参阅用于处理计算工作负载的 GPU。
• ACCELERATOR_COUNT：要挂接到机器的加速器类型。
• RESERVATION_AFFINITY_TYPE：必须为 ANY、SPECIFIC_RESERVATION 或 NONE。
  • ANY 表示您的 customJob 的虚拟机可以自动使用具有匹配属性的任何预留。
  • SPECIFIC_RESERVATION 表示您的 customJob 的虚拟机只能使用虚拟机通过名称明确指向的预留。
  • NONE 表示 customJob 的虚拟机无法使用任何预留。指定 NONE 的效果与省略预留亲和性规范的效果相同。
• ZONE：在其中创建预留的可用区。
• RESERVATION_NAME：预留的名称。
• MIN_REPLICA_COUNT：此部署的最小节点数。 节点数可根据预测负载的需要而增加或减少，直至达到节点数上限并且绝不会少于此节点数。此值必须大于或等于 1。
• MAX_REPLICA_COUNT：此部署的节点数上限。 节点数可根据预测负载的需要而增加或减少，直至达到此节点数并且绝不会少于节点数下限。
• TRAFFIC_SPLIT_THIS_MODEL：流向此端点的要路由到使用此操作部署的模型的预测流量百分比。默认值为 100。所有流量百分比之和必须为 100。详细了解流量拆分。
• DEPLOYED_MODEL_ID_N：可选。如果将其他模型部署到此端点，您必须更新其流量拆分百分比，以便所有百分比之和等于 100。
• TRAFFIC_SPLIT_MODEL_N：已部署模型 ID 密钥的流量拆分百分比值。
• PROJECT_NUMBER：自动生成的项目编号。

HTTP 方法和网址：

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints/ENDPOINT_ID:deployModel

请求 JSON 正文：

{
  "deployedModel": {
    "model": "projects/PROJECT/locations/LOCATION_ID/models/MODEL_ID",
    "displayName": "DEPLOYED_MODEL_NAME",
    "dedicatedResources": {
      "machineSpec": {
        "machineType": "MACHINE_TYPE",
        "acceleratorType": "ACCELERATOR_TYPE",
        "acceleratorCount": ACCELERATOR_COUNT,
        "reservationAffinity": {
          "reservationAffinityType": "RESERVATION_AFFINITY_TYPE",
          "key": "compute.googleapis.com/reservation-name",
          "values": [
            "projects/PROJECT_ID/zones/ZONE/reservations/RESERVATION_NAME"
          ]
        }
      },
      "minReplicaCount": MIN_REPLICA_COUNT,
      "maxReplicaCount": MAX_REPLICA_COUNT
    },
  },
  "trafficSplit": {
    "0": TRAFFIC_SPLIT_THIS_MODEL,
    "DEPLOYED_MODEL_ID_1": TRAFFIC_SPLIT_MODEL_1,
    "DEPLOYED_MODEL_ID_2": TRAFFIC_SPLIT_MODEL_2
  },
}

如需发送您的请求，请展开以下选项之一：

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints/ENDPOINT_ID:deployModel"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/endpoints/ENDPOINT_ID:deployModel" | Select-Object -Expand Content

您应该收到类似以下内容的 JSON 响应：

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/endpoints/ENDPOINT_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1beta1.DeployModelOperationMetadata",
    "genericMetadata": {
      "createTime": "2020-10-19T17:53:16.502088Z",
      "updateTime": "2020-10-19T17:53:16.502088Z"
    }
  }
}

Python

如需了解如何安装或更新 Vertex AI SDK for Python，请参阅安装 Vertex AI SDK for Python。如需了解详情，请参阅 Vertex AI SDK for Python API 参考文档。

在运行以下任意脚本之前，请先进行以下替换：

• DEPLOYED_NAME：已部署模型的名称。
• TRAFFIC_SPLIT：已部署模型 ID 密钥的流量拆分百分比值。
• MACHINE_TYPE：用于此部署的每个节点的机器资源。其默认设置为 n1-standard-2。 详细了解机器类型。
• ACCELERATOR_TYPE：要挂接到机器的加速器类型。如需详细了解每种机器类型支持的 GPU 类型，请参阅用于处理计算工作负载的 GPU。
• ACCELERATOR_COUNT：要挂接到机器的加速器类型。
• PROJECT_ID：在其中创建预留的项目。 如需使用其他项目的共享预留，您必须与该项目共享预留。如需了解详情，请参阅修改共享预留中的使用方项目。
• ZONE：预留所在的可用区。
• RESERVATION_NAME：预留的名称。
• MIN_REPLICA_COUNT：此部署的最小节点数。 节点数可根据预测负载的需要而增加或减少，直至达到节点数上限并且绝不会少于此节点数。此值必须大于或等于 1。
• MAX_REPLICA_COUNT：此部署的节点数上限。 节点数可根据预测负载的需要而增加或减少，直至达到此节点数并且绝不会少于节点数下限。

根据您要使用的预留类型，执行以下操作之一：

• 如需使用特定预留，请执行以下操作：

  endpoint5.deploy(
      model = model,
      deployed_model_display_name=DEPLOYED_NAME,
      traffic_split=TRAFFIC_SPLIT,
      machine_type="MACHINE_TYPE",
      accelerator_type="ACCELERATOR_TYPE",
      accelerator_count=ACCELERATOR_COUNT,
      reservation_affinity_type="SPECIFIC_RESERVATION",
      reservation_affinity_key="compute.googleapis.com/reservation-name",
      reservation_affinity_values=["projects/PROJECT_ID/zones/ZONE/reservations/RESERVATION_NAME"],
      min_replica_count=MIN_REPLICA_COUNT,
      max_replica_count=MAX_REPLICA_COUNT,
      sync=True
  )

• 如需使用自动使用的预留，请执行以下操作：

  endpoint5.deploy(
      model = model,
      deployed_model_display_name=DEPLOYED_NAME,
      traffic_split=TRAFFIC_SPLIT,
      machine_type="MACHINE_TYPE",
      accelerator_type="ACCELERATOR_TYPE",
      accelerator_count=ACCELERATOR_COUNT,
      reservation_affinity_type="ANY_RESERVATION",
      min_replica_count=MIN_REPLICA_COUNT,
      max_replica_count=MAX_REPLICA_COUNT,
      sync=True
  )