Membuat embedding multimodal

Halaman ini menjelaskan cara membuat embedding multimodal menggunakan model multimodal Vertex AI yang didukung, multimodalembedding@001.

Anda dapat menggunakan model embedding multimodal Vertex AI yang dirujuk di Model yang didukung.

Halaman ini mengasumsikan bahwa Anda sudah memahami AlloyDB untuk PostgreSQL dan konsep AI generatif. Untuk mengetahui informasi selengkapnya tentang embedding, lihat Apa itu embedding.

Sebelum memulai

Sebelum Anda menggunakan embedding multimodal, lakukan hal berikut:

Berintegrasi dengan Vertex AI dan menginstal ekstensi

  1. Berintegrasi dengan Vertex AI.
  2. Pastikan google_ml_integration versi terbaru sudah diinstal.
    1. Untuk memeriksa versi yang diinstal, jalankan perintah berikut:

              SELECT extversion FROM pg_extension WHERE extname = 'google_ml_integration';
              extversion
              ------------
              1.4.3
              (1 row)
            
    2. Jika ekstensi tidak diinstal atau jika versi yang diinstal lebih lama dari 1.4.3, update ekstensi dengan menjalankan perintah berikut:

              CREATE EXTENSION IF NOT EXISTS google_ml_integration;
              ALTER EXTENSION google_ml_integration UPDATE;
            

      Jika Anda mengalami masalah saat menjalankan perintah sebelumnya, atau jika ekstensi tidak diupdate ke versi 1.4.3 setelah Anda menjalankan perintah sebelumnya, hubungi dukungan AlloyDB.

    3. Setelah Anda memastikan bahwa versi sudah yang terbaru, instal fungsi pratinjau dengan menjalankan prosedur upgrade_to_preview_version:

              CALL google_ml.upgrade_to_preview_version();
              SELECT extversion FROM pg_extension WHERE extname = 'google_ml_integration';
              extversion
              ------------
              1.4.4
              (1 row)
            

Mengakses data di Cloud Storage untuk membuat sematan multimodal

  • Untuk membuat sematan multimodal, lihat konten di Cloud Storage menggunakan URI gs://.
  • Akses konten Cloud Storage melalui agen layanan Vertex AI project Anda saat ini. Secara default, agen layanan Vertex AI sudah memiliki izin untuk mengakses bucket dalam project yang sama. Untuk mengetahui informasi selengkapnya, lihat Indeks peran dan izin IAM.
  • Untuk mengakses data di bucket Cloud Storage di project Google Cloud lain, jalankan perintah gcloud CLI berikut untuk memberikan peran Storage Object Viewer (roles/storage.objectViewer) kepada agen layanan Vertex AI di project AlloyDB Anda.

    gcloud projects add-iam-policy-binding <ANOTHER_PROJECT_ID> \
    --member="serviceAccount:service-<PROJECT_ID>@gcp-sa-aiplatform." \
    --role="roles/storage.objectViewer"

    Untuk mengetahui informasi selengkapnya, lihat Menetapkan dan mengelola kebijakan IAM pada bucket.

Untuk membuat embedding multimodal, pilih salah satu skema berikut.

Langkah berikutnya