Genera embedding multimodali

Questa pagina descrive come generare embedding multimodali utilizzando il modello multimodale multimodalembedding@001 di Vertex AI supportato. Puoi eseguire query impostando l'ID modello sul nome qualificato del modello multimodale Vertex AI e su altre informazioni di input.

Per utilizzare le istruzioni riportate in questa pagina, devi conoscere AlloyDB per PostgreSQL e avere familiarità con i concetti di IA generativa.

Prima di iniziare

Genera embedding multimodali

Per generare incorporamenti di testo per un endpoint del modello multimodalembedding@001, esegui la seguente istruzione:

SELECT
  ai.text_embedding(
    model_id => 'multimodalembedding@001',
    content => 'TEXT');

Per generare embedding di immagini per un endpoint del modello multimodalembedding@001 registrato in cui il mimetype dell'immagine è predefinito image/jpeg, esegui la seguente istruzione:

SELECT
  ai.image_embedding(
    model_id => 'multimodalembedding@001',
    image => 'IMAGE_PATH_OR_TEXT',
    mimetype => MIMETYPE');

Sostituisci quanto segue:

  • IMAGE_PATH_OR_TEXT con l'URI di Cloud Storage dell'immagine nello stesso progetto AlloyDB, ad esempio gs://my-bucket/embeddings/flowers.jpeg, o la stringa base64 dell'immagine.
  • MIMETYPE con il mimetype dell'immagine, ad esempio image/jpeg. Il mimetype predefinito è image/jpeg.

Per generare embedding video per un endpoint del modello multimodalembedding@001 registrato, esegui la seguente istruzione:

SELECT
  ai.video_embedding(
    model_id => 'multimodalembedding@001',
    video => 'VIDEO_URI');

Sostituisci VIDEO_URI con l'URI Cloud Storage del video di destinazione, ad esempio gs://my-bucket/embeddings/supermarket-video.mp4, o con la stringa base64 del video.

Passaggi successivi