构建应用

本页面介绍了如何创建应用并组合各种组件（例如输入流、用于分析的模型和用于存储的仓库），以便在 Vertex AI Vision 的应用平台上使用。

若要构建应用，您必须考虑数据源、要执行的分析以及要如何存储结果。端到端应用可以有不同的形式，具体取决于您的使用场景。因此，应用构建方式将取决于您的目标。

在开始之前，请从负责任的 AI 角度评估您的使用场景和目标，并考虑当出现问题时，您的模型和应用可能会对最终用户产生哪些影响。详细了解在评估用例以兼顾公平性时，首先要执行哪些步骤。另请确保您对 Vertex AI Vision 的使用符合 Google Cloud的《服务条款》或离线变体，以及纳入的网址条款（例如 Google Cloud的《使用限制政策》）。

在创建应用时，请注意 AI 视觉技术可能会加剧或引入不公平的偏见，并影响基本人权。在开发应用时，您应根据公司的价值观进行道德反思，并针对您的特定应用场景（包括高风险应用场景）进行法律尽职调查。与所有技术一样，您必须考虑您在实施 AI/ML 技术的区域适用的所有法律法规。客户有责任尽职尽责，以实现在特定区域被视为高风险的用例。

创建新应用

您必须先创建应用，然后才能向该应用添加信息流或模型等组件。所有应用都必须包含以下内容才能进行部署：

• 流输入节点（数据源）。
• 至少一个其他组件节点，例如模型或仓库。

创建新的自定义应用

使用模板创建应用

添加数据流输入

应用必须包含视频流节点。如果您不添加 Streams 节点，则无法部署应用。

如果您的应用未部署，系统会自动将您的流输入更新应用到该应用。如果您的应用已部署，您必须先取消部署，然后更新应用才能应用更改。如需了解详情，请参阅更新应用部分。

POST https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput

{
  "applicationStreamInputs": [
     {
       "streamWithAnnotation": {
         "stream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID"
       }
     },
     {
       "streamWithAnnotation": {
         "stream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID"
       }
     }
   ]
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput" | Select-Object -Expand Content

添加带有节点注释的流输入

创建应用输入流时，您可以使用 Vertex AI Vision API 向该流添加注释。您还可以在Google Cloud 控制台中向节点添加注释。

POST https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput

{
  "applicationStreamInputs": [
    {
      "streamWithAnnotation": {
        "stream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID",
        "nodeAnnotations": [
          {
            "node": "NODE_NAME",
            "annotations": [
              {
                "id": "ANNOTATION_ID",
                "displayName": "ANNOTATION_DISPLAYNAME",
                "sourceStream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID",
                "type": ANNOTATION_TYPE,
                "activeZone": {
                  "normalizedVertices": {
                    "x": 0.07434944,
                    "y": 0.18061674
                  },
                  "normalizedVertices": {
                    "x": 0.64684016,
                    "y": 0.16079295
                  },
                  "normalizedVertices": {
                    "x": 0.6047088,
                    "y": 0.92070484
                  },
                  "normalizedVertices": {
                    "x": 0.1251549,
                    "y": 0.76651984
                  }
                }
              }
            ]
          }
        ]
      }
    }
  ]
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput" | Select-Object -Expand Content

移除视频流输入

POST https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:removeStreamInput

{
  "targetStreamInputs": [
     {
       "stream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID"
     },
     {
       "stream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID"
     }
   ]
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:removeStreamInput"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:removeStreamInput" | Select-Object -Expand Content

添加预训练的 Vertex AI Vision 模型

创建应用后，您可以添加模型并将其连接到数据流、其他模型或媒体仓库。

模型分为两种类型：预训练模型和用户训练模型。同样，用户训练的模型也可以分为两种类型 - AutoML 或自定义训练：

• 预训练模型可实现特定目标，基于广义数据进行训练，并且可随时使用。
• 用户训练的 AutoML 模型或自定义训练的模型需要您识别并提供样本数据，然后训练更适合您独特使用情形的模型。您可以使用 Vertex AI 训练这些模型，该产品提供两种训练选项：AutoML 训练模型和自定义训练模型。如需了解详情，请参阅选择训练方法。

按照以下说明将预训练的 Vertex AI Vision 模型添加到应用图中。

添加用户训练的 Vertex AI 模型

创建应用后，您可以添加模型并将其连接到数据流、其他模型或媒体仓库。

模型分为两种类型：预训练模型和用户训练模型。同样，用户训练的模型也可以分为两种类型 - AutoML 或自定义训练：

• 预训练模型可实现特定目标，基于广义数据进行训练，并且可随时使用。
• 用户训练的 AutoML 模型或自定义训练的模型需要您识别并提供样本数据，然后训练更适合您独特使用情形的模型。您可以使用 Vertex AI 训练这些模型，该产品提供两种训练选项：AutoML 训练模型和自定义训练模型。如需了解详情，请参阅选择训练方法。

添加 Vertex AI AutoML 对象检测流式传输模型

按照以下说明将您训练的 Vertex AI AutoML 对象检测流式传输模型添加到应用图表中。

在训练 Vertex AI AutoML 模型之前，您必须先准备对象检测数据并创建数据集。

训练模型以在 Vertex AI Vision 中使用

在 Vertex AI 中创建包含代表性数据集合的数据集后，您可以训练模型以在 Vertex AI Vision 中使用。

将训练好的模型添加到应用中

模型完成训练后，您可以将其添加到 Vertex AI Vision 应用中。

添加 Vertex AI 自定义模型

您还可以将 Vertex AI 自定义训练模型导入 Vertex AI Vision，以用于数据分析。这些自定义训练的模型必须具有以下属性：

• 模型必须是无状态的，因为模型输入是来自不同应用实例（流）的图片，这些图片可能无序。如果您需要有状态的流式处理，可能需要在自己的容器中保留状态。
• 模型输入大小上限为 1.5MB。因此，Vertex AI Vision 必须将原始 RGB 图片压缩为有损格式，例如 JPG。

按照以下说明将您训练的现有 Vertex AI 自定义训练视频模型添加到应用图中。

如需了解如何使用自定义容器创建 Vertex AI 自定义训练模型，请参阅使用自定义容器进行预测。

指定实例 YAML 文件

添加 Vertex AI 自定义训练模型时，您必须指定存储在 Cloud Storage 中的实例 YAML 文件 (instances.yaml)。此文件指定了模型容器的预期输入。

Vertex AI 会以以下格式发送预测请求：

{
  "instances": [
    <value>|<simple/nested list>|<object>,
    ...
  ]
}

在此示例中，instances.yaml 定义了载荷的架构。如需了解详情，请参阅通过自定义训练模型进行在线预测。

Vertex AI Vision 仅支持具有一个已命名预测输入的自定义训练模型。此输入类型必须是编码的 JPEG 字符串。必须使用实例架构 YAML 文件指定预测输入的架构。此架构 YAML 文件必须采用 OpenAPI 架构对象格式。

例如，以下架构将接收包含编码为名为 image_bytes 的字段的图片的请求：

properties:
  image_bytes:
    type: string

您的自定义模型会接收以下格式的预测输入：

{
  "instances": [
    {
      "image_bytes" : {
        "b64": "BASE64_ENCODED_IMAGE_BYTES"
      }
    }
  ]
}

在将模型导入 Vertex AI Vision 之前，请验证您的模型是否能正确处理此输入。

指定预测 YAML 文件

添加 Vertex AI 自定义训练模型时，您可以指定存储在 Cloud Storage 中的预测 YAML 文件 (predictions.yaml)。此文件用于指定模型容器的输出。

此文件是可选的，但建议使用，以便告知 Vertex AI Vision 模型的输出结构。例如，以下 classification_1.0.0.yaml 文件描述了图片分类模型的模型输出信息：

title: Classification
type: object
description: >
  The predicted AnnotationSpecs.
properties:
  ids:
    type: array
    description: >
      The resource IDs of the AnnotationSpecs that had been identified.
    items:
      type: integer
      format: int64
      enum: [0]  # As values of this enum all AnnotationSpec IDs the Model
      # was trained on will be populated.
  displayNames:
    type: array
    description: >
      The display names of the AnnotationSpecs that had been identified,
      order matches the IDs.
    items:
      type: string
      enum: [""]  # As values of this enum all AnnotationSpec display_names
      # the Model was trained on will be populated.
  confidences:
    type: array
    description: >
      The Model's confidences in correctness of the predicted IDs, higher
      value means higher confidence. Order matches the Ids.
    items:
      type: number
      format: float
      minimum: 0.0
      maximum: 1.0

添加自定义训练的模型

使用以下示例将 Vertex AI 自定义训练的模型添加到您的应用中。

可选。附加应用元数据

除了映像字节之外，您还可以设置 attach_application_metadata，以请求 Vertex AI Vision 应用平台包含要发送到自定义容器的应用的元数据。

元数据具有以下架构：

'appPlatformMetadata': {
     'application': STRING;
     'instanceId': STRING;
     'node': STRING;
     'processor': STRING;
   }

可选。添加动态配置 Pub/Sub 主题

如需动态控制 Vertex 自定义运算符向 Vertex 自定义容器发送视频帧的帧速率，您可以创建一个 Pub/Sub 主题。将其添加到节点设置的 Dynamic Configuration 部分。

如果已配置 Pub/Sub 主题，则初始帧速率为 0。在视频处理期间，您可以实时向 Pub/Sub 主题发送以下格式的 Pub/Sub 消息来更改帧速率：

{
  "stream_id": "input-stream-id",
  "fps": 5,
}

stream_id 字段应与应用输入源的 ID 一致。

服务账号和权限

自定义容器的默认服务凭据已配置为 Vertex AI Vision 应用平台的 Google 自有服务账号。如需从容器访问其他 Google Cloud服务，请向以下对象授予适当的权限：service-<var>PROJECT_NUMBER</var>@gcp-sa-visionai.iam.gserviceaccount.com

可选。使用 Cloud Run 函数和 Pub/Sub 对事件通知进行建模

在 Vertex AI Vision 中，模型会接收来自摄像头等设备的媒体数据，对这些数据运行 AI 预测，并持续生成注释。您通常会将处理后的数据发送到数据目的地（“数据接收器”），例如媒体仓库或 BigQuery，以进行进一步的分析作业。不过，在某些情况下，您可能需要以不同的方式处理某些注解，或者注解需求具有时效性。与 Cloud Run functions 和 Pub/Sub 集成有助于满足这些需求。

支持的模型

以下模型提供 Cloud Run functions 事件生成和 Pub/Sub 事件通知集成：

• 人员和车辆数量分析模型
• Vertex AI 自定义训练的模型

配置 Cloud Run functions 以处理模型输出

如需触发基于事件的通知，您必须先设置 Cloud Run 函数来处理模型输出并生成事件。

您的 Cloud Run 函数会连接到模型，并监听其输出作为后处理操作。Cloud Run 函数应返回 AppPlatformCloudFunctionResponse。这些事件 (appplatformeventbody) 会发送到您在下一步中配置的 Pub/Sub 主题。

如需查看 Cloud Run 函数示例，请参阅使用 Cloud Functions 和 Pub/Sub 启用模型事件通知。

按照以下说明将模型输出流发送到 Cloud Run 函数：

通过 Pub/Sub 启用模型事件通知

设置好 Cloud Run functions 以处理模型输出并生成事件后，您可以使用 Pub/Sub 设置事件通知。如需读取主题中的消息，您还需要选择并创建 Pub/Sub 订阅。

将模型输出与下游节点相关联

创建模型节点后，您可以将其输出连接到另一个节点。

将输出连接到数据目的地

创建数据注入流并将处理节点添加到应用后，您必须选择将处理后的数据发送到何处。此数据目的地是应用图的终点，可接受流数据，但不生成任何流数据。您选择的目标位置取决于您如何使用应用输出数据。

您可以将应用输出数据连接到以下数据目的地：

1. Vision Warehouse：存储可供您查看和查询的原始或分析后的视频数据。

   如需详细了解如何将应用输出数据发送到 Vision Warehouse，请参阅连接数据并将其存储到数据仓库。

2. BigQuery：将数据存储在 BigQuery 中，以便使用其离线分析功能。

   如需详细了解如何将应用输出数据发送到 BigQuery，请参阅连接 BigQuery 并将数据存储到其中。

3. 直播数据：如果您想更精细地控制实时分析，可以接收应用的实时输出。

   如需详细了解如何直接流式传输应用输出数据，请参阅启用直播输出。

更新应用

未部署的应用

对应用进行任何修改（例如添加或移除组件节点）；Vertex AI Vision 会自动存储这些更改。

后续步骤

• 如需了解如何部署应用以在 Deploy an application 中注入和分析数据，请参阅此页面。
• 如需了解如何开始从应用输入源中数据注入，请参阅创建和管理数据流。
• 如需了解如何在管理应用中列出应用并查看已部署应用的实例，请参阅相关文档。
• 如需了解如何从提取流或分析模型输出数据中读取应用输入数据，请参阅读取流数据。