Mem-build aplikasi

Halaman ini menunjukkan cara membuat aplikasi dan menggabungkan berbagai komponen - seperti aliran input, model untuk analisis, dan warehouse untuk penyimpanan - untuk digunakan di platform aplikasi Vertex AI Vision.

Untuk membuat aplikasi, Anda harus mempertimbangkan sumber data, analisis yang ingin dilakukan, dan cara menyimpan hasilnya. Aplikasi end-to-end dapat memiliki berbagai bentuk bergantung pada kasus penggunaan Anda. Oleh karena itu, cara Anda membangun aplikasi akan bergantung pada tujuan Anda.

Sebelum memulai, nilai kasus penggunaan dan tujuan Anda dari perspektif AI yang Bertanggung Jawab dan pertimbangkan dampak yang dapat ditimbulkan oleh model dan aplikasi Anda terhadap pengguna akhir jika terjadi kesalahan. Baca selengkapnya tentang langkah-langkah awal dalam menilai kasus penggunaan Anda terkait keadilan. Pastikan juga bahwa penggunaan Vertex AI Vision oleh Anda mematuhi Persyaratan Layanan Google Cloudatau varian offline, dan Persyaratan URL yang disertakan seperti Kebijakan Penggunaan yang Dapat Diterima Google Cloud.

Saat Anda membuat aplikasi, perlu diingat bahwa teknologi visi AI berpotensi memperkuat atau memperkenalkan bias yang tidak adil dan memengaruhi hak asasi manusia yang mendasar. Pengembangan aplikasi Anda harus melibatkan refleksi etis berdasarkan nilai-nilai perusahaan Anda, dan uji tuntas hukum untuk kasus penggunaan tertentu, termasuk kasus penggunaan berisiko tinggi. Seperti halnya semua teknologi, Anda harus mempertimbangkan semua hukum dan peraturan yang berlaku yang mengatur penggunaan teknologi AI/ML di wilayah tempat Anda menerapkan teknologi tersebut. Pelanggan bertanggung jawab atas uji tuntas yang diperlukan untuk menerapkan kasus penggunaan yang dianggap berisiko tinggi di wilayah tertentu.

Buat aplikasi baru

Sebelum dapat menambahkan komponen seperti aliran atau model ke aplikasi, Anda harus membuat aplikasi itu sendiri. Semua aplikasi harus berisi hal berikut agar dapat di-deploy:

• Node input streaming (sumber data).
• Setidaknya satu node komponen lain, seperti model atau gudang.

Membuat aplikasi kustom baru

Membuat aplikasi dengan template

Menambahkan input streaming

Aplikasi harus berisi node streaming video. Anda tidak dapat men-deploy aplikasi jika Anda tidak menambahkan node Streams.

Jika aplikasi Anda tidak di-deploy, pembaruan input streaming akan diterapkan secara otomatis ke aplikasi. Jika aplikasi Anda sudah di-deploy, Anda harus membatalkan deployment dan mengupdate aplikasi agar perubahan dapat diterapkan. Lihat bagian mengupdate aplikasi untuk mengetahui detail selengkapnya.

POST https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput

{
  "applicationStreamInputs": [
     {
       "streamWithAnnotation": {
         "stream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID"
       }
     },
     {
       "streamWithAnnotation": {
         "stream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID"
       }
     }
   ]
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput" | Select-Object -Expand Content

Menambahkan input streaming dengan anotasi node

Saat membuat aliran input aplikasi, Anda dapat menambahkan anotasi ke aliran menggunakan Vertex AI Vision API. Anda juga dapat menambahkan anotasi ke node di konsol Google Cloud .

POST https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput

{
  "applicationStreamInputs": [
    {
      "streamWithAnnotation": {
        "stream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID",
        "nodeAnnotations": [
          {
            "node": "NODE_NAME",
            "annotations": [
              {
                "id": "ANNOTATION_ID",
                "displayName": "ANNOTATION_DISPLAYNAME",
                "sourceStream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID",
                "type": ANNOTATION_TYPE,
                "activeZone": {
                  "normalizedVertices": {
                    "x": 0.07434944,
                    "y": 0.18061674
                  },
                  "normalizedVertices": {
                    "x": 0.64684016,
                    "y": 0.16079295
                  },
                  "normalizedVertices": {
                    "x": 0.6047088,
                    "y": 0.92070484
                  },
                  "normalizedVertices": {
                    "x": 0.1251549,
                    "y": 0.76651984
                  }
                }
              }
            ]
          }
        ]
      }
    }
  ]
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput" | Select-Object -Expand Content

Menghapus input streaming

POST https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:removeStreamInput

{
  "targetStreamInputs": [
     {
       "stream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID"
     },
     {
       "stream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID"
     }
   ]
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:removeStreamInput"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:removeStreamInput" | Select-Object -Expand Content

Menambahkan model Vertex AI Vision yang telah dilatih sebelumnya

Setelah membuat aplikasi, Anda dapat menambahkan model dan menghubungkannya ke aliran, model lain, atau gudang media.

Ada dua jenis model - model terlatih atau model terlatih pengguna. Demikian pula, model yang dilatih pengguna juga dapat berupa dua jenis - AutoML atau yang dilatih kustom:

• Model pra-latih menjalankan tujuan tertentu, dilatih menggunakan data umum, dan siap digunakan.
• Model AutoML atau model yang dilatih kustom oleh pengguna mengharuskan Anda mengidentifikasi dan memberikan data contoh, lalu melatih model yang lebih sesuai dengan kasus penggunaan unik Anda. Anda melatih model ini menggunakan Vertex AI, produk yang menawarkan dua opsi pelatihan: model terlatih AutoML dan model terlatih kustom. Lihat Memilih metode pelatihan untuk mengetahui informasi selengkapnya.

Gunakan petunjuk berikut untuk menambahkan model Vertex AI Vision terlatih ke grafik aplikasi Anda.

Menambahkan model Vertex AI yang dilatih pengguna

Setelah membuat aplikasi, Anda dapat menambahkan model dan menghubungkannya ke aliran, model lain, atau gudang media.

Ada dua jenis model - model terlatih atau model terlatih pengguna. Demikian pula, model yang dilatih pengguna juga dapat berupa dua jenis - AutoML atau yang dilatih kustom:

• Model pra-latih menjalankan tujuan tertentu, dilatih menggunakan data umum, dan siap digunakan.
• Model AutoML atau model yang dilatih kustom oleh pengguna mengharuskan Anda mengidentifikasi dan memberikan data contoh, lalu melatih model yang lebih sesuai dengan kasus penggunaan unik Anda. Anda melatih model ini menggunakan Vertex AI, produk yang menawarkan dua opsi pelatihan: model terlatih AutoML dan model terlatih kustom. Lihat Memilih metode pelatihan untuk mengetahui informasi selengkapnya.

Menambahkan model streaming deteksi objek AutoML Vertex AI

Gunakan petunjuk berikut untuk menambahkan model streaming deteksi objek AutoML Vertex AI yang Anda latih ke grafik aplikasi Anda.

Sebelum dapat melatih model Vertex AI AutoML, Anda harus menyiapkan data deteksi objek dan membuat set data.

Melatih model untuk digunakan di Vertex AI Vision

Setelah membuat set data dengan kumpulan data yang representatif di Vertex AI, Anda dapat melatih model untuk digunakan di Vertex AI Vision.

Menambahkan model terlatih ke aplikasi Anda

Setelah model selesai dilatih, Anda dapat menambahkannya ke aplikasi Vertex AI Vision.

Menambahkan model kustom Vertex AI

Anda juga dapat mengimpor model terlatih kustom Vertex AI ke Vertex AI Vision untuk digunakan dalam analisis data. Model yang dilatih khusus ini harus memiliki properti berikut:

• Model harus stateless, karena input model adalah gambar yang berasal dari berbagai instance aplikasi (streaming) dan mungkin tidak berurutan. Jika Anda memerlukan pemrosesan streaming stateful, Anda mungkin perlu menyimpan status di dalam container Anda sendiri.
• Ukuran input ke model Anda dibatasi hingga 1,5 MB. Oleh karena itu, Vertex AI Vision harus mengompresi gambar RGB asli ke dalam format lossy, seperti JPG.

Gunakan petunjuk berikut untuk menambahkan model video yang dilatih kustom Vertex AI yang sudah ada dan Anda latih ke grafik aplikasi.

Untuk mengetahui informasi tentang cara membuat model terlatih khusus Vertex AI dengan container kustom, lihat Menggunakan container kustom untuk prediksi.

Menentukan file YAML instance

Saat menambahkan model terlatih kustom Vertex AI, Anda harus menentukan file YAML instance (instances.yaml) yang disimpan di Cloud Storage. File ini menentukan input yang diharapkan ke container model Anda.

Vertex AI mengirimkan permintaan prediksi dalam format:

{
  "instances": [
    <value>|<simple/nested list>|<object>,
    ...
  ]
}

Di sini, instances.yaml menentukan skema payload. Untuk mengetahui informasi selengkapnya, lihat Mendapatkan prediksi online dari model terlatih kustom.

Vertex AI Vision hanya mendukung model yang dilatih khusus dengan tepat satu input prediksi bernama. Jenis input ini harus berupa string JPEG yang dienkode. Skema input prediksi harus ditentukan dengan file YAML skema instance. File YAML skema ini harus dalam format objek skema OpenAPI.

Misalnya, skema berikut akan menerima permintaan dengan gambar yang dienkode ke dalam kolom yang disebut image_bytes:

properties:
  image_bytes:
    type: string

Model kustom Anda menerima input prediksi dalam format berikut:

{
  "instances": [
    {
      "image_bytes" : {
        "b64": "BASE64_ENCODED_IMAGE_BYTES"
      }
    }
  ]
}

Sebelum mengimpor model ke Vertex AI Vision, pastikan model Anda berfungsi dengan benar menggunakan input ini.

Menentukan file YAML prediksi

Saat menambahkan model yang dilatih kustom Vertex AI, Anda dapat menentukan file YAML prediksi (predictions.yaml) yang disimpan di Cloud Storage. File ini menentukan output dari penampung model Anda.

File ini bersifat opsional, tetapi direkomendasikan untuk memberi tahu Vertex AI Vision struktur output model Anda. Misalnya, file classification_1.0.0.yaml berikut menjelaskan informasi output model untuk model klasifikasi gambar:

title: Classification
type: object
description: >
  The predicted AnnotationSpecs.
properties:
  ids:
    type: array
    description: >
      The resource IDs of the AnnotationSpecs that had been identified.
    items:
      type: integer
      format: int64
      enum: [0]  # As values of this enum all AnnotationSpec IDs the Model
      # was trained on will be populated.
  displayNames:
    type: array
    description: >
      The display names of the AnnotationSpecs that had been identified,
      order matches the IDs.
    items:
      type: string
      enum: [""]  # As values of this enum all AnnotationSpec display_names
      # the Model was trained on will be populated.
  confidences:
    type: array
    description: >
      The Model's confidences in correctness of the predicted IDs, higher
      value means higher confidence. Order matches the Ids.
    items:
      type: number
      format: float
      minimum: 0.0
      maximum: 1.0

Menambahkan model yang dilatih khusus

Gunakan contoh berikut untuk menambahkan model yang dilatih khusus Vertex AI ke aplikasi Anda.

Opsional. Melampirkan metadata aplikasi

Selain byte gambar, Anda memiliki opsi untuk menetapkan attach_application_metadata untuk meminta platform aplikasi Vertex AI Vision menyertakan metadata aplikasi yang akan dikirimkan ke container kustom.

Metadata memiliki skema berikut:

'appPlatformMetadata': {
     'application': STRING;
     'instanceId': STRING;
     'node': STRING;
     'processor': STRING;
   }

Opsional. Menambahkan topik Pub/Sub konfigurasi dinamis

Untuk mengontrol secara dinamis kecepatan frame yang dikirim Vertex Custom Operator ke container kustom Vertex, Anda dapat membuat topik Pub/Sub. Tambahkan ke bagian Dynamic Configuration setelan node.

Jika topik Pub/Sub dikonfigurasi, kecepatan frame awal adalah 0. Selama pemrosesan video, Anda dapat mengirim pesan Pub/Sub ke topik Pub/Sub dalam format berikut secara real time untuk mengubah kecepatan frame:

{
  "stream_id": "input-stream-id",
  "fps": 5,
}

Kolom stream_id harus cocok dengan ID aliran input aplikasi.

Akun layanan dan izin

Kredensial layanan default container kustom telah dikonfigurasi ke akun layanan milik Google dari platform aplikasi Vertex AI Vision. Untuk mengakses layanan Google Cloud lain dari container, beri izin yang sesuai ke: service-<var>PROJECT_NUMBER</var>@gcp-sa-visionai.iam.gserviceaccount.com

Opsional. Notifikasi peristiwa model dengan fungsi Cloud Run dan Pub/Sub

Di Vertex AI Vision, model menerima data media dari perangkat seperti kamera, menjalankan prediksi AI pada data, dan menghasilkan anotasi secara berkelanjutan. Anda sering mengirimkan data yang diproses tersebut ke tujuan data ("sink data") seperti gudang media atau BigQuery untuk tugas analisis lebih lanjut. Namun, Anda mungkin memiliki kasus di mana beberapa anotasi harus ditangani secara berbeda, atau kebutuhan anotasi bersifat mendesak. Integrasi dengan fungsi Cloud Run dan Pub/Sub membantu Anda memenuhi kebutuhan ini.

Model yang didukung

Model berikut menawarkan integrasi pembuatan peristiwa fungsi Cloud Run dan notifikasi peristiwa Pub/Sub:

• Model Analisis tingkat keterisian
• Model yang dilatih khusus Vertex AI

Mengonfigurasi fungsi Cloud Run untuk memproses output model

Untuk memicu notifikasi berbasis peristiwa, Anda harus menyiapkan fungsi Cloud Run terlebih dahulu untuk memproses output model dan menghasilkan peristiwa.

Fungsi Cloud Run Anda terhubung ke model dan memproses outputnya sebagai tindakan pasca-pemrosesan. Fungsi Cloud Run yang harus Anda tampilkan adalah AppPlatformCloudFunctionResponse. Peristiwa (appplatformeventbody) akan dikirim ke topik Pub/Sub yang Anda konfigurasi pada langkah berikutnya.

Untuk melihat contoh fungsi Cloud Run, lihat Mengaktifkan notifikasi peristiwa model dengan Cloud Functions dan Pub/Sub.

Gunakan petunjuk berikut untuk mengirimkan aliran output model ke fungsi Cloud Run Anda:

Mengaktifkan notifikasi peristiwa model dengan Pub/Sub

Setelah menyiapkan fungsi Cloud Run untuk memproses output model dan membuat peristiwa, Anda dapat menyiapkan notifikasi peristiwa dengan Pub/Sub. Untuk membaca pesan dari topik, Anda juga perlu Memilih dan membuat langganan Pub/Sub.

Menghubungkan output model dengan node downstream

Setelah membuat node model, Anda dapat menghubungkan outputnya ke node lain.

Menghubungkan output ke tujuan data

Setelah Anda membuat aliran penyerapan data dan menambahkan node pemrosesan ke aplikasi, Anda harus memilih tempat untuk mengirim data yang diproses. Tujuan data ini adalah titik akhir grafik aplikasi yang menerima data streaming tanpa menghasilkan data streaming apa pun. Tujuan yang Anda pilih bergantung pada cara Anda menggunakan data output aplikasi.

Anda dapat menghubungkan data output aplikasi ke tujuan data berikut:

1. Vision Warehouse: Menyimpan data video asli atau yang dianalisis yang dapat Anda lihat dan kueri.

   Untuk mengetahui informasi selengkapnya tentang pengiriman data output aplikasi ke Vision Warehouse, lihat Menghubungkan dan menyimpan data ke warehouse.

2. BigQuery: Simpan data di BigQuery untuk menggunakan kemampuan analisis offline-nya.

   Untuk mengetahui informasi selengkapnya tentang cara mengirim data output aplikasi ke BigQuery, lihat Menghubungkan dan menyimpan data ke BigQuery.

3. Data live stream: Jika ingin kontrol yang lebih terperinci untuk mengambil tindakan berdasarkan analisis real-time, Anda dapat menerima output live dari aplikasi.

   Untuk mengetahui informasi selengkapnya tentang streaming data output aplikasi secara langsung, lihat bagian Mengaktifkan output live stream.

Mengupdate aplikasi

Aplikasi yang tidak di-deploy

Lakukan modifikasi apa pun pada aplikasi (seperti menambahkan atau menghapus node komponen) ; Vertex AI Vision akan otomatis menyimpan perubahan.

Langkah berikutnya

• Pelajari cara men-deploy aplikasi Anda untuk menyerap dan menganalisis data di Men-deploy aplikasi.
• Baca petunjuk tentang cara memulai penyerapan data dari aliran input aplikasi di Membuat dan mengelola aliran.
• Pelajari cara mencantumkan aplikasi dan melihat instance aplikasi yang di-deploy di Mengelola aplikasi.
• Pelajari cara membaca data input aplikasi dari aliran penyerapan atau data output model yang dianalisis di Membaca data aliran.