Membuat embedding multimodal

Halaman ini menjelaskan cara membuat embedding multimodal menggunakan model multimodal Vertex AI yang didukung, multimodalembedding@001. Anda dapat menjalankan kueri dengan menetapkan ID model ke nama yang memenuhi syarat dari model multimodal Vertex AI, dan informasi input lainnya.

Untuk menggunakan petunjuk di halaman ini, Anda harus memiliki pemahaman tentang AlloyDB untuk PostgreSQL dan memahami konsep AI generatif.

Sebelum memulai

Membuat embedding multimodal

Untuk membuat embedding teks untuk endpoint model multimodalembedding@001, jalankan pernyataan berikut:

SELECT
  ai.text_embedding(
    model_id => 'multimodalembedding@001',
    content => 'TEXT');

Untuk membuat penyematan gambar untuk endpoint model multimodalembedding@001 terdaftar dengan mimetype gambar image/jpeg default, jalankan pernyataan berikut:

SELECT
  ai.image_embedding(
    model_id => 'multimodalembedding@001',
    image => 'IMAGE_PATH_OR_TEXT',
    mimetype => MIMETYPE');

Ganti kode berikut:

  • IMAGE_PATH_OR_TEXT dengan URI Cloud Storage gambar dalam project AlloyDB yang sama, misalnya, gs://my-bucket/embeddings/flowers.jpeg, atau string base64 gambar.
  • MIMETYPE dengan mimetype gambar, misalnya, image/jpeg. MIME type default-nya adalah image/jpeg.

Untuk membuat penyematan video untuk endpoint model multimodalembedding@001 terdaftar, jalankan pernyataan berikut:

SELECT
  ai.video_embedding(
    model_id => 'multimodalembedding@001',
    video => 'VIDEO_URI');

Ganti VIDEO_URI dengan Cloud Storage URI video target, misalnya, gs://my-bucket/embeddings/supermarket-video.mp4, atau string base64 video.

Langkah berikutnya