Générer des embeddings multimodaux

Cette page explique comment générer des représentations vectorielles continues multimodales à l'aide du modèle multimodal Vertex AI compatible, multimodalembedding@001. Vous pouvez exécuter des requêtes en définissant l'ID de modèle sur le nom qualifié du modèle multimodal Vertex AI et d'autres informations d'entrée.

Pour suivre les instructions de cette page, vous devez connaître AlloyDB pour PostgreSQL et les concepts d'IA générative.

Avant de commencer

Générer des embeddings multimodaux

Pour générer des embeddings textuels pour un point de terminaison de modèle multimodalembedding@001, exécutez l'instruction suivante:

SELECT
  ai.text_embedding(
    model_id => 'multimodalembedding@001',
    content => 'TEXT');

Pour générer des représentations vectorielles continues d'images pour un point de terminaison de modèle multimodalembedding@001 enregistré dont le type mime d'image est image/jpeg par défaut, exécutez l'instruction suivante:

SELECT
  ai.image_embedding(
    model_id => 'multimodalembedding@001',
    image => 'IMAGE_PATH_OR_TEXT',
    mimetype => MIMETYPE');

Remplacez les éléments suivants :

  • IMAGE_PATH_OR_TEXT avec l'URI Cloud Storage de l'image dans le même projet AlloyDB (par exemple, gs://my-bucket/embeddings/flowers.jpeg) ou la chaîne base64 de l'image.
  • MIMETYPE avec le type MIME de l'image, par exemple image/jpeg. Le mimetype par défaut est image/jpeg.

Pour générer des représentations vectorielles continues vidéo pour un point de terminaison de modèle multimodalembedding@001 enregistré, exécutez l'instruction suivante:

SELECT
  ai.video_embedding(
    model_id => 'multimodalembedding@001',
    video => 'VIDEO_URI');

Remplacez VIDEO_URI par l'URI Cloud Storage de la vidéo cible, par exemple gs://my-bucket/embeddings/supermarket-video.mp4, ou par la chaîne base64 de la vidéo.

Étape suivante