アプリケーションを構築する

このページでは、Vertex AI Vision のアプリ プラットフォームで使用するアプリを作成し、コンポーネント（入力ストリーム、分析用モデル、ストレージ用ウェアハウスなど）を組み合わせる方法について説明します。

アプリを構築するには、データソース、実行する分析、結果の保存方法を検討する必要があります。エンドツーエンド アプリは、ユースケースに応じてさまざまな形式をとることができます。そのため、アプリの構築方法は目標によって異なります。

開始する前に、責任ある AI の観点からユースケースと目標を評価し、モデルとアプリケーションが適切でない場合にエンドユーザーに及ぼす影響を検討します。公平性についてユースケースを評価するための最初のステップをご覧ください。また、Vertex AI Vision の使用が Google Cloudの利用規約またはオフライン バージョン、および Google Cloudの利用規定などの組み込み URL の規約に準拠していることも確認してください。

アプリケーションを作成する際は、AI ビジョン テクノロジーが不公平なバイアスを強化または導入し、基本的人権に影響を与える可能性があることに留意してください。アプリケーションの開発には、企業の価値観に基づく倫理的な考察と、高リスクのユースケースを含む特定のユースケースに関する法的デュー デリジェンスが必要です。すべてのテクノロジーと同様に、テクノロジーを実装する地域で AI/ML テクノロジーの使用を規定する適用法と規制をすべて考慮する必要があります。特定のリージョンでリスクが高いと見なされるユースケースを実装するために必要なデュー デリジェンスは、お客様の責任で行っていただきます。

新しいアプリケーションを作成する

ストリームやモデルなどのコンポーネントをアプリに追加する前に、アプリ自体を作成する必要があります。すべてのアプリは、デプロイするために以下を含んでいる必要があります。

• ストリーム入力ノード（データソース）。
• モデルやウェアハウスなど、他のコンポーネント ノードが少なくとも 1 つ。

新しいカスタム アプリケーションを作成する

テンプレートを使用してアプリケーションを作成する

ストリーム入力を追加する

アプリケーションには動画ストリーム ノードが必要です。Streams ノードを追加しないと、アプリケーションをデプロイできません。

アプリケーションがデプロイされていない場合、ストリーム入力の更新はアプリケーションに自動的に適用されます。アプリがすでにデプロイされている場合は、変更を適用するために、アプリをデプロイ解除して更新する必要があります。詳しくは、アプリを更新するセクションをご覧ください。

POST https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput

{
  "applicationStreamInputs": [
     {
       "streamWithAnnotation": {
         "stream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID"
       }
     },
     {
       "streamWithAnnotation": {
         "stream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID"
       }
     }
   ]
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput" | Select-Object -Expand Content

ノード アノテーションを含むストリーム入力を追加する

アプリケーション入力ストリームを作成するときに、Vertex AI Vision API を使用してストリームにアノテーションを追加できます。Google Cloud コンソールでノードにアノテーションを追加することもできます。

POST https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput

{
  "applicationStreamInputs": [
    {
      "streamWithAnnotation": {
        "stream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID",
        "nodeAnnotations": [
          {
            "node": "NODE_NAME",
            "annotations": [
              {
                "id": "ANNOTATION_ID",
                "displayName": "ANNOTATION_DISPLAYNAME",
                "sourceStream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID",
                "type": ANNOTATION_TYPE,
                "activeZone": {
                  "normalizedVertices": {
                    "x": 0.07434944,
                    "y": 0.18061674
                  },
                  "normalizedVertices": {
                    "x": 0.64684016,
                    "y": 0.16079295
                  },
                  "normalizedVertices": {
                    "x": 0.6047088,
                    "y": 0.92070484
                  },
                  "normalizedVertices": {
                    "x": 0.1251549,
                    "y": 0.76651984
                  }
                }
              }
            ]
          }
        ]
      }
    }
  ]
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput" | Select-Object -Expand Content

ストリーム入力を削除する

POST https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:removeStreamInput

{
  "targetStreamInputs": [
     {
       "stream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID"
     },
     {
       "stream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID"
     }
   ]
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:removeStreamInput"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:removeStreamInput" | Select-Object -Expand Content

事前トレーニング済みの Vertex AI Vision モデルを追加する

アプリを作成したら、モデルを追加して、ストリーム、他のモデル、メディア ウェアハウスに接続できます。

モデルには、事前トレーニング済みモデルとユーザー トレーニング済みモデルの 2 種類があります。同様に、ユーザー トレーニング モデルも AutoML またはカスタム トレーニングの 2 種類があります。

• 事前トレーニング済みモデルは、特定の目的を実行し、一般化されたデータでトレーニングされ、すぐに使用できます。
• ユーザーがトレーニングした AutoML モデルまたはカスタム トレーニング済みモデルでは、サンプルデータを特定して提供し、独自のユースケースに適したモデルをトレーニングする必要があります。これらのモデルは、2 つのトレーニング オプション（AutoML トレーニング済みモデルとカスタム トレーニング済みモデル）を提供する Vertex AI を使用してトレーニングします。詳細については、トレーニング方法を選択するをご覧ください。

次の手順に沿って、事前トレーニング済みの Vertex AI Vision モデルをアプリグラフに追加します。

ユーザーがトレーニングした Vertex AI モデルを追加する

アプリを作成したら、モデルを追加して、ストリーム、他のモデル、メディア ウェアハウスに接続できます。

モデルには、事前トレーニング済みモデルとユーザー トレーニング済みモデルの 2 種類があります。同様に、ユーザー トレーニング モデルも AutoML またはカスタム トレーニングの 2 種類があります。

• 事前トレーニング済みモデルは、特定の目的を実行し、一般化されたデータでトレーニングされ、すぐに使用できます。
• ユーザーがトレーニングした AutoML モデルまたはカスタム トレーニング済みモデルでは、サンプルデータを特定して提供し、独自のユースケースに適したモデルをトレーニングする必要があります。これらのモデルは、2 つのトレーニング オプション（AutoML トレーニング済みモデルとカスタム トレーニング済みモデル）を提供する Vertex AI を使用してトレーニングします。詳細については、トレーニング方法を選択するをご覧ください。

Vertex AI AutoML オブジェクト検出ストリーミング モデルを追加する

次の手順に沿って、トレーニングした Vertex AI AutoML オブジェクト検出ストリーミング モデルをアプリグラフに追加します。

Vertex AI AutoML モデルをトレーニングする前に、オブジェクト検出データを準備し、データセットを作成する必要があります。

Vertex AI Vision で使用するモデルをトレーニングする

Vertex AI で代表的なデータ収集を含むデータセットを作成したら、Vertex AI Vision で使用するモデルをトレーニングできます。

トレーニング済みモデルをアプリに追加する

モデルのトレーニングが完了したら、Vertex AI Vision アプリに追加できます。

Vertex AI カスタムモデルを追加する

Vertex AI カスタム トレーニング モデルを Vertex AI Vision にインポートして、データ分析に使用することもできます。これらのカスタム トレーニング モデルには、次のプロパティが必要です。

• モデル入力は異なるアプリケーション インスタンス（ストリーム）から取得された画像であり、順序が異なる可能性があるため、モデルはステートレスである必要があります。ステートフル ストリーミング処理が必要な場合は、独自のコンテナ内に状態を保持する必要がある場合があります。
• モデルへの入力サイズは 1.5 MB に制限されています。そのため、Vertex AI Vision は元の RGB 画像を JPG などの非可逆形式に圧縮する必要があります。

次の手順に沿って、トレーニング済みの既存の Vertex AI カスタム トレーニング動画モデルをアプリグラフに追加します。

カスタム コンテナを使用して Vertex AI カスタム トレーニング モデルを作成する方法については、予測にカスタム コンテナを使用するをご覧ください。

インスタンスの YAML ファイルを指定する

Vertex AI カスタム トレーニング モデルを追加する場合は、Cloud Storage に保存されているインスタンス YAML ファイル（instances.yaml）を指定する必要があります。このファイルは、モデル コンテナへの想定される入力を指定します。

Vertex AI は、次の形式で予測リクエストを送信します。

{
  "instances": [
    <value>|<simple/nested list>|<object>,
    ...
  ]
}

ここで、instances.yaml はペイロードのスキーマを定義します。詳細については、カスタム トレーニング済みモデルからオンライン予測を取得するをご覧ください。

Vertex AI Vision は、予測入力が 1 つだけ名前付きのカスタム トレーニング モデルのみをサポートします。この入力タイプは、エンコードされた JPEG 文字列でなければなりません。予測入力のスキーマは、インスタンス スキーマ YAML ファイルで指定する必要があります。このスキーマ YAML ファイルは、OpenAPI スキーマ オブジェクトの形式である必要があります。

たとえば、次のスキーマは、image_bytes を呼び出すフィールドにエンコードされた画像を含むリクエストを受け取ります。

properties:
  image_bytes:
    type: string

カスタムモデルは、次の形式で予測入力を受け取ります。

{
  "instances": [
    {
      "image_bytes" : {
        "b64": "BASE64_ENCODED_IMAGE_BYTES"
      }
    }
  ]
}

モデルを Vertex AI Vision にインポートする前に、この入力でモデルが正しく動作することを確認します。

予測 YAML ファイルを指定する

Vertex AI カスタム トレーニング モデルを追加するときに、Cloud Storage に保存されている予測 YAML ファイル（predictions.yaml）を指定できます。このファイルは、モデル コンテナからの出力を指定します。

このファイルは省略可能ですが、モデルの出力構造を Vertex AI Vision に通知するために使用することをおすすめします。たとえば、次の classification_1.0.0.yaml ファイルは、画像分類モデルのモデル出力情報を記述しています。

title: Classification
type: object
description: >
  The predicted AnnotationSpecs.
properties:
  ids:
    type: array
    description: >
      The resource IDs of the AnnotationSpecs that had been identified.
    items:
      type: integer
      format: int64
      enum: [0]  # As values of this enum all AnnotationSpec IDs the Model
      # was trained on will be populated.
  displayNames:
    type: array
    description: >
      The display names of the AnnotationSpecs that had been identified,
      order matches the IDs.
    items:
      type: string
      enum: [""]  # As values of this enum all AnnotationSpec display_names
      # the Model was trained on will be populated.
  confidences:
    type: array
    description: >
      The Model's confidences in correctness of the predicted IDs, higher
      value means higher confidence. Order matches the Ids.
    items:
      type: number
      format: float
      minimum: 0.0
      maximum: 1.0

カスタム トレーニング モデルを追加する

次のサンプルを使用して、Vertex AI カスタム トレーニング モデルをアプリに追加します。

省略可。アプリケーション メタデータを追加する

画像バイトに加えて、attach_application_metadata を設定して、Vertex AI Vision アプリ プラットフォームにアプリケーションのメタデータをカスタム コンテナに送信するように要求することもできます。

メタデータのスキーマは次のとおりです。

'appPlatformMetadata': {
     'application': STRING;
     'instanceId': STRING;
     'node': STRING;
     'processor': STRING;
   }

省略可。動的構成 Pub/Sub トピックを追加

Vertex カスタム オペレーターが動画フレームを Vertex カスタム コンテナに送信するフレームレートを動的に制御するには、Pub/Sub トピックを作成します。ノード設定の Dynamic Configuration セクションに追加します。

Pub/Sub トピックが構成されている場合、初期フレームレートは 0 です。動画処理中に、次の形式で Pub/Sub トピックに Pub/Sub メッセージをリアルタイムで送信して、フレームレートを変更できます。

{
  "stream_id": "input-stream-id",
  "fps": 5,
}

stream_id フィールドは、アプリケーションの入力ストリームの ID と一致する必要があります。

サービス アカウントと権限

カスタム コンテナのデフォルトのサービス認証情報は、Vertex AI Vision アプリ プラットフォームの Google 所有のサービス アカウントに構成されています。コンテナから他の Google Cloudサービスにアクセスするには、適切な権限を付与します。service-<var>PROJECT_NUMBER</var>@gcp-sa-visionai.iam.gserviceaccount.com

省略可。Cloud Run 関数と Pub/Sub を使用してイベント通知をモデル化する

Vertex AI Vision では、モデルはカメラなどのデバイスからメディアデータを受け取り、データに対して AI 予測を実行し、アノテーションを継続的に生成します。通常、処理されたデータは、メディア ウェアハウスや BigQuery などのデータ宛先（「データシンク」）に送信され、さらに分析ジョブが行われます。ただし、一部のアノテーションを異なる方法で処理する必要がある場合や、アノテーションのニーズが時間的制約を受ける場合もあります。Cloud Run functions と Pub/Sub の統合は、これらのニーズに対応するのに役立ちます。

サポートされているモデル

次のモデルでは、Cloud Run functions のイベント生成と Pub/Sub イベント通知の統合が提供されています。

• 利用人数の分析モデル
• Vertex AI カスタム トレーニング モデル

モデル出力を処理するように Cloud Run functions を構成する

イベントベースの通知をトリガーするには、まずモデル出力を処理してイベントを生成するように Cloud Run functions を設定する必要があります。

Cloud Run 関数はモデルに接続し、後処理アクションとしてモデルの出力をリッスンします。Cloud Run 関数は AppPlatformCloudFunctionResponse を返す必要があります。イベント（appplatformeventbody）は、次の手順で構成する Pub/Sub トピックに送信されます。

Cloud Run functions のサンプルを表示するには、Cloud Functions と Pub/Sub を使用してモデル イベント通知を有効にするをご覧ください。

次の手順に沿って、モデルの出力ストリームを Cloud Run functions の関数に送信します。

Pub/Sub を使用してモデル イベント通知を有効にする

モデル出力を処理してイベントを生成するように Cloud Run functions を設定したら、Pub/Sub を使用してイベント通知を設定できます。トピックからメッセージを読み取るには、Pub/Sub サブスクリプションを選択して作成することも必要です。

モデル出力をダウンストリーム ノードに接続する

モデルノードを作成したら、その出力を別のノードに接続できます。

出力をデータ宛先に接続する

データ取り込みストリームを作成し、処理ノードをアプリに追加したら、処理済みデータの送信先を選択する必要があります。このデータ宛先は、ストリームデータを生成せずにストリームデータを受け入れるアプリグラフのエンドポイントです。選択する宛先は、アプリの出力データの使用方法によって異なります。

アプリの出力データを次のデータ宛先に接続できます。

1. Vision Warehouse: 表示とクエリが可能な元データまたは分析済み動画データを保存します。

   アプリの出力データを Vision Warehouse に送信する方法については、データをウェアハウスに接続して保存するをご覧ください。

2. BigQuery: BigQuery にデータを保存して、オフライン分析機能を使用します。

   アプリの出力データを BigQuery に送信する方法について詳しくは、BigQuery に接続してデータを保存するをご覧ください。

3. ライブ ストリーム データ: リアルタイム分析に基づいてよりきめ細かい制御を行いたい場合は、アプリからライブ出力を受け取ることができます。

   アプリの出力データを直接ストリーミングする方法については、ライブ ストリーム出力を有効にするをご覧ください。

アプリを更新する

未デプロイのアプリ

アプリに変更を加えます（コンポーネント ノードの追加や削除など）。Vertex AI Vision は変更を自動的に保存します。

次のステップ

• アプリケーションをデプロイするで、データを取得して分析するアプリをデプロイする方法を学習する。
• アプリの入力ストリームからデータ取り込みを開始する方法については、ストリームの作成と管理をご覧ください。
• アプリを一覧表示して、デプロイされたアプリのインスタンスを表示する方法については、アプリケーションの管理をご覧ください。
• ストリーム データの読み取りで、取り込みストリームからアプリ入力データを読み取る方法、または分析されたモデル出力データを読み取る方法について学習します。