Genera incorporaciones multimodales

En esta página, se describe cómo generar incorporaciones multimodales con el modelo multimodal de Vertex AI compatible, multimodalembedding@001. Para ejecutar consultas, configura el ID del modelo en el nombre calificado del modelo multimodal de Vertex AI y otra información de entrada.

Para usar las instrucciones de esta página, debes comprender AlloyDB para PostgreSQL y estar familiarizado con los conceptos de IA generativa.

Antes de comenzar

Genera incorporaciones multimodales

Para generar incorporaciones de texto para un extremo de modelo multimodalembedding@001, ejecuta la siguiente sentencia:

SELECT
  ai.text_embedding(
    model_id => 'multimodalembedding@001',
    content => 'TEXT');

Para generar incorporaciones de imágenes para un extremo de modelo multimodalembedding@001 registrado en el que el tipo de MIME de la imagen es image/jpeg predeterminado, ejecuta la siguiente sentencia:

SELECT
  ai.image_embedding(
    model_id => 'multimodalembedding@001',
    image => 'IMAGE_PATH_OR_TEXT',
    mimetype => MIMETYPE');

Reemplaza lo siguiente:

  • IMAGE_PATH_OR_TEXT con el URI de Cloud Storage de la imagen en el mismo proyecto de AlloyDB, por ejemplo, gs://my-bucket/embeddings/flowers.jpeg, o la cadena base64 de la imagen.
  • MIMETYPE con el tipo MIME de la imagen, por ejemplo, image/jpeg. El tipo de MIME predeterminado es image/jpeg.

Para generar incorporaciones de video para un extremo de modelo multimodalembedding@001 registrado, ejecuta la siguiente sentencia:

SELECT
  ai.video_embedding(
    model_id => 'multimodalembedding@001',
    video => 'VIDEO_URI');

Reemplaza VIDEO_URI por el URI de Cloud Storage del video de destino, por ejemplo, gs://my-bucket/embeddings/supermarket-video.mp4, o la cadena base64 del video.

¿Qué sigue?