マルチモーダル エンベディングを生成する

このページでは、サポートされている Vertex AI マルチモーダル モデル multimodalembedding@001 を使用してマルチモーダル エンベディングを生成する方法について説明します。モデル ID を Vertex AI マルチモーダル モデルの修飾名などの入力情報に設定すると、クエリを実行できます。

このページの手順は、AlloyDB for PostgreSQL と生成 AI のコンセプトに詳しい方向けのものです。

始める前に

マルチモーダル エンベディングを生成する

multimodalembedding@001 モデル エンドポイントのテキスト エンベディングを生成するには、次のステートメントを実行します。

SELECT
  ai.text_embedding(
    model_id => 'multimodalembedding@001',
    content => 'TEXT');

画像の mimetype がデフォルトの image/jpeg である登録済みの multimodalembedding@001 モデル エンドポイントの画像エンベディングを生成するには、次のステートメントを実行します。

SELECT
  ai.image_embedding(
    model_id => 'multimodalembedding@001',
    image => 'IMAGE_PATH_OR_TEXT',
    mimetype => MIMETYPE');

次のように置き換えます。

  • IMAGE_PATH_OR_TEXT は、同じ AlloyDB プロジェクト内の画像の Cloud Storage URI（gs://my-bucket/embeddings/flowers.jpeg など）または画像の base64 文字列に置き換えます。
  • MIMETYPE は、画像の mimetype（image/jpeg など）に置き換えます。デフォルトの mimetype は image/jpeg です。

登録済みの multimodalembedding@001 モデル エンドポイントの動画エンベディングを生成するには、次のステートメントを実行します。

SELECT
  ai.video_embedding(
    model_id => 'multimodalembedding@001',
    video => 'VIDEO_URI');

VIDEO_URI は、ターゲット動画の Cloud Storage URI（gs://my-bucket/embeddings/supermarket-video.mp4 など）または動画の base64 文字列に置き換えます。

次のステップ