Menganotasi gambar dengan fungsi ML.ANNOTATE_IMAGE

Dokumen ini menjelaskan cara menggunakan fungsi ML.ANNOTATE_IMAGE dengan model jarak jauh untuk menganotasi gambar dari tabel objek.

Izin yang diperlukan

  • Untuk membuat koneksi, Anda memerlukan keanggotaan dalam peran berikut:

    • roles/bigquery.connectionAdmin

  • Untuk memberikan izin ke akun layanan koneksi, Anda memerlukan izin berikut:

    • resourcemanager.projects.setIamPolicy

  • Untuk membuat model menggunakan BigQuery ML, Anda memerlukan izin berikut:

    • bigquery.jobs.create
    • bigquery.models.create
    • bigquery.models.getData
    • bigquery.models.updateData
    • bigquery.models.updateMetadata

  • Untuk menjalankan inferensi, Anda memerlukan izin berikut:

    • bigquery.tables.getData pada tabel objek
    • bigquery.models.getData pada model
    • bigquery.jobs.create

Sebelum memulai

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Enable the BigQuery, BigQuery Connection API, and Cloud Vision API APIs.

    Enable the APIs

    5.

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Make sure that billing is enabled for your Google Cloud project.

  7. Enable the BigQuery, BigQuery Connection API, and Cloud Vision API APIs.

    Enable the APIs

    8.

    Membuat set data

    Buat set data BigQuery untuk memuat resource Anda:

    Konsol

    1. Di Google Cloud konsol, buka halaman BigQuery.

      Buka halaman BigQuery

    2. Di panel Explorer, klik nama project Anda.

    3. Klik View actions > Create dataset.

    4. Di halaman Create dataset, lakukan hal berikut:

      • Untuk ID Set Data, ketik nama untuk set data.

      • Untuk Location type, pilih lokasi untuk set data.

      • Klik Create dataset.

    bq

    1. Untuk membuat set data baru, gunakan perintah bq mk dengan flag --location:

      bq --location=LOCATION mk -d DATASET_ID

      Ganti kode berikut:

      • LOCATION: lokasi set data.
      • DATASET_ID: ID set data yang Anda buat.

    2. Pastikan set data telah dibuat:

      bq ls

    Membuat koneksi

    Anda dapat melewati langkah ini jika memiliki koneksi default yang dikonfigurasi dengan izin yang sesuai.

    Buat koneksi resource Cloud untuk digunakan model jarak jauh, dan dapatkan akun layanan koneksi. Buat koneksi di lokasi yang sama dengan set data yang Anda buat di langkah sebelumnya.

    Pilih salah satu opsi berikut:

    Konsol

    1. Buka halaman BigQuery.

      Buka BigQuery

    2. Di panel Penjelajah, klik Tambahkan data:

      Elemen UI Tambahkan data.

      Dialog Add data akan terbuka.

    3. Di panel Filter By, di bagian Data Source Type, pilih Business Applications.

      Atau, di kolom Search for data sources, Anda dapat memasukkan Vertex AI.

    4. Di bagian Sumber data unggulan, klik Vertex AI.

    5. Klik kartu solusi Vertex AI Models: BigQuery Federation.

    6. Dalam daftar Connection type, pilih Vertex AI remote models, remote functions and BigLake (Cloud Resource).

    7. Di kolom Connection ID, masukkan nama untuk koneksi Anda.

    8. Klik Create connection.

    9. Klik Go to connection.

    10. Di panel Connection info, salin ID akun layanan untuk digunakan di langkah berikutnya.

    bq

    1. Di lingkungan command line, buat koneksi:

      bq mk --connection --location=REGION --project_id=PROJECT_ID \
    --connection_type=CLOUD_RESOURCE CONNECTION_ID

      Parameter --project_id akan mengganti project default.

      Ganti kode berikut:

      • REGION: region koneksi Anda
      • PROJECT_ID: Google Cloud project ID Anda
      • CONNECTION_ID: ID untuk koneksi Anda

      Saat Anda membuat resource koneksi, BigQuery akan membuat akun layanan sistem unik dan mengaitkannya dengan koneksi.

      Pemecahan masalah: Jika Anda mendapatkan error koneksi berikut, update Google Cloud SDK:

      Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...

    2. Ambil dan salin ID akun layanan untuk digunakan di langkah berikutnya:

      bq show --connection PROJECT_ID.REGION.CONNECTION_ID

      Outputnya mirip dengan hal berikut ini:

      name                          properties
1234.REGION.CONNECTION_ID     {"serviceAccountId": "connection-1234-9u56h9@gcp-sa-bigquery-condel.iam.gserviceaccount.com"}

    Terraform

    Gunakan resource google_bigquery_connection.

    Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.

    Contoh berikut membuat koneksi resource Cloud bernama my_cloud_resource_connection di region US:

    
# This queries the provider for project information.
data "google_project" "default" {}

# This creates a cloud resource connection in the US region named my_cloud_resource_connection.
# Note: The cloud resource nested object has only one output field - serviceAccountId.
resource "google_bigquery_connection" "default" {
  connection_id = "my_cloud_resource_connection"
  project       = data.google_project.default.project_id
  location      = "US"
  cloud_resource {}
}

    Untuk menerapkan konfigurasi Terraform di project Google Cloud , selesaikan langkah-langkah di bagian berikut.

    Menyiapkan Cloud Shell

    1. Luncurkan Cloud Shell.

    2. Tetapkan project Google Cloud default tempat Anda ingin menerapkan konfigurasi Terraform.

      Anda hanya perlu menjalankan perintah ini sekali per project, dan dapat dijalankan di direktori mana pun.

      export GOOGLE_CLOUD_PROJECT=PROJECT_ID

      Variabel lingkungan akan diganti jika Anda menetapkan nilai eksplisit dalam file konfigurasi Terraform.

    Menyiapkan direktori

    Setiap file konfigurasi Terraform harus memiliki direktorinya sendiri (juga disebut modul root).

    1. Di Cloud Shell, buat direktori dan file baru di dalam direktori tersebut. Nama file harus memiliki ekstensi .tf—misalnya main.tf. Dalam tutorial ini, file ini disebut sebagai main.tf. 
      mkdir DIRECTORY && cd DIRECTORY && touch main.tf

    2. Jika mengikuti tutorial, Anda dapat menyalin kode contoh di setiap bagian atau langkah.

      Salin kode contoh ke dalam main.tf yang baru dibuat.

      Atau, salin kode dari GitHub. Tindakan ini direkomendasikan jika cuplikan Terraform adalah bagian dari solusi menyeluruh.

    3. Tinjau dan ubah contoh parameter untuk diterapkan pada lingkungan Anda.
    4. Simpan perubahan Anda.
    5. Lakukan inisialisasi Terraform. Anda hanya perlu melakukan ini sekali per direktori. 
      terraform init

      Secara opsional, untuk menggunakan versi penyedia Google terbaru, sertakan opsi -upgrade: 

      terraform init -upgrade

    Menerapkan perubahan

    1. Tinjau konfigurasi dan pastikan resource yang akan dibuat atau diupdate oleh Terraform sesuai yang Anda inginkan: 
      terraform plan

      Koreksi konfigurasi jika diperlukan.

    2. Terapkan konfigurasi Terraform dengan menjalankan perintah berikut dan memasukkan yes pada prompt: 
      terraform apply

      Tunggu hingga Terraform menampilkan pesan "Apply complete!".

    3. Buka Google Cloud project untuk melihat hasilnya. Di konsol Google Cloud , buka resource Anda di UI untuk memastikan bahwa Terraform telah membuat atau mengupdatenya.

    Memberikan akses ke akun layanan

    Pilih salah satu opsi berikut:

    Konsol

    1. Buka halaman IAM & Admin.

      Buka IAM & Admin

    2. Klik Add.

      Dialog Add principals akan terbuka.

    3. Di kolom New principals, masukkan ID akun layanan yang Anda salin sebelumnya.

    4. Di kolom Select a role, pilih Service Usage, lalu pilih Service Usage Consumer.

    5. Klik Add another role.

    6. Pada kolom Select a role, pilih BigQuery, lalu pilih BigQuery Connection User.

    7. Klik Save.

    gcloud

    Gunakan perintah gcloud projects add-iam-policy-binding:

    gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/serviceusage.serviceUsageConsumer' --condition=None
gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/bigquery.connectionUser' --condition=None

    Ganti kode berikut:

    • PROJECT_NUMBER: nomor project Anda.
    • MEMBER: ID akun layanan yang Anda salin sebelumnya.

    Kegagalan memberikan izin akan menyebabkan error.

    Membuat tabel objek

    Buat tabel objek yang memiliki konten gambar. Tabel objek memungkinkan Anda menganalisis gambar tanpa memindahkannya dari Cloud Storage.

    Bucket Cloud Storage yang digunakan oleh tabel objek harus berada di project yang sama tempat Anda berencana membuat model dan memanggil fungsi ML.ANNOTATE_IMAGE. Jika ingin memanggil fungsi ML.ANNOTATE_IMAGE di project yang berbeda dengan project yang berisi bucket Cloud Storage yang digunakan oleh tabel objek, Anda harus memberikan peran Storage Admin di tingkat bucket.

    Membuat model

    Buat model jarak jauh dengan REMOTE_SERVICE_TYPE dari CLOUD_AI_VISION_V1:

    CREATE OR REPLACE MODEL
`PROJECT_ID.DATASET_ID.MODEL_NAME`
REMOTE WITH CONNECTION {DEFAULT | `PROJECT_ID.REGION.CONNECTION_ID`}
OPTIONS (REMOTE_SERVICE_TYPE = 'CLOUD_AI_VISION_V1');

    Ganti kode berikut:

    • PROJECT_ID: project ID Anda.
    • DATASET_ID: ID set data yang akan berisi model. Set data ini harus berada di lokasi yang sama dengan koneksi yang Anda gunakan.
    • MODEL_NAME: nama model.
    • REGION: region yang digunakan oleh koneksi.
    • CONNECTION_ID: ID koneksi—misalnya, myconnection.

      Saat Anda melihat detail koneksi di konsol Google Cloud , ID koneksi adalah nilai di bagian terakhir dari ID koneksi yang sepenuhnya memenuhi syarat yang ditampilkan di ID Koneksi—misalnya, projects/myproject/locations/connection_location/connections/myconnection.

    Menganotasi gambar

    Anotasikan image dengan fungsi ML.ANNOTATE_IMAGE:

    SELECT *
FROM ML.ANNOTATE_IMAGE(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  TABLE PROJECT_ID.DATASET_ID.OBJECT_TABLE_NAME,
  STRUCT(['FEATURE_NAME' [,...]] AS vision_features)
);

    Ganti kode berikut:

    • PROJECT_ID: project ID Anda.
    • DATASET_ID: ID set data yang berisi model.
    • MODEL_NAME: nama model.
    • OBJECT_TABLE_NAME: nama tabel objek yang berisi URI image yang akan dianotasi.
    • FEATURE_NAME: nama fitur Cloud Vision API yang didukung.

    Contoh 1

    Contoh berikut melabeli item yang ditampilkan dalam image:

    SELECT *
FROM ML.ANNOTATE_IMAGE(
  MODEL `myproject.mydataset.myvisionmodel`,
  TABLE myproject.mydataset.image_table,
  STRUCT(['label_detection'] AS vision_features)
);

    Contoh 2

    Contoh berikut mendeteksi wajah yang ditampilkan dalam image, dan juga menampilkan atribut image, seperti warna dominan:

    SELECT *
FROM ML.ANNOTATE_IMAGE(
  MODEL `myproject.mydataset.myvisionmodel`,
  TABLE myproject.mydataset.image_table,
  STRUCT(['face_detection', 'image_properties'] AS vision_features)
);

    Langkah berikutnya