Gerar embeddings multimodais

Esta página descreve como gerar embeddings multimodais usando o modelo multimodais multimodalembedding@001, compatível com a Vertex AI. É possível executar consultas definindo o ID do modelo como o nome qualificado do modelo multimodal da Vertex AI e outras informações de entrada.

Para usar as instruções desta página, você precisa entender o AlloyDB para PostgreSQL e conhecer os conceitos de IA generativa.

Antes de começar

Gerar embeddings multimodais

Para gerar embeddings de texto para um endpoint de modelo multimodalembedding@001, execute a seguinte instrução:

SELECT
  ai.text_embedding(
    model_id => 'multimodalembedding@001',
    content => 'TEXT');

Para gerar embeddings de imagem para um endpoint de modelo multimodalembedding@001 registrado em que o mimetype da imagem é image/jpeg padrão, execute a seguinte instrução:

SELECT
  ai.image_embedding(
    model_id => 'multimodalembedding@001',
    image => 'IMAGE_PATH_OR_TEXT',
    mimetype => MIMETYPE');

Substitua:

  • IMAGE_PATH_OR_TEXT com o URI do Cloud Storage da imagem no mesmo projeto do AlloyDB, por exemplo, gs://my-bucket/embeddings/flowers.jpeg ou a string base64 da imagem.
  • MIMETYPE com o tipo MIME da imagem, por exemplo, image/jpeg. O mimetype padrão é image/jpeg.

Para gerar embeddings de vídeo para um endpoint de modelo multimodalembedding@001 registrado, execute a seguinte instrução:

SELECT
  ai.video_embedding(
    model_id => 'multimodalembedding@001',
    video => 'VIDEO_URI');

Substitua VIDEO_URI pelo URI do Cloud Storage do vídeo de destino, por exemplo, gs://my-bucket/embeddings/supermarket-video.mp4 ou a string base64 do vídeo.

A seguir