Multimodale Einbettungen generieren

Auf dieser Seite wird beschrieben, wie Sie multimodale Einbettungen mit dem unterstützten Vertex AI-Multimodalmodell multimodalembedding@001 generieren. Sie können Abfragen ausführen, indem Sie die Modell-ID auf den qualifizierten Namen des Vertex AI-Multimodal-Modells und andere Eingabeinformationen festlegen.

Um die Anleitungen auf dieser Seite verwenden zu können, müssen Sie AlloyDB for PostgreSQL kennen und mit den Konzepten der generativen KI vertraut sein.

Hinweise

Multimodale Einbettungen generieren

Wenn Sie Texteinbettungen für einen multimodalembedding@001-Modellendpunkt generieren möchten, führen Sie die folgende Anweisung aus:

SELECT
  ai.text_embedding(
    model_id => 'multimodalembedding@001',
    content => 'TEXT');

Wenn Sie Bild-Embeddings für einen registrierten multimodalembedding@001-Modellendpunkt generieren möchten, dessen Bild-MIME-Typ standardmäßig image/jpeg ist, führen Sie den folgenden Befehl aus:

SELECT
  ai.image_embedding(
    model_id => 'multimodalembedding@001',
    image => 'IMAGE_PATH_OR_TEXT',
    mimetype => MIMETYPE');

Ersetzen Sie Folgendes:

  • IMAGE_PATH_OR_TEXT durch den Cloud Storage-URI des Bilds im selben AlloyDB-Projekt, z. B. gs://my-bucket/embeddings/flowers.jpeg, oder durch den Base64-String des Bilds.
  • MIMETYPE mit dem MIME-Typ des Bildes, z. B. image/jpeg. Der Standard-MIME-Typ ist image/jpeg.

Wenn Sie Video-Embeddings für einen registrierten multimodalembedding@001-Modellendpunkt generieren möchten, führen Sie die folgende Anweisung aus:

SELECT
  ai.video_embedding(
    model_id => 'multimodalembedding@001',
    video => 'VIDEO_URI');

Ersetzen Sie VIDEO_URI durch den Cloud Storage-URI des Zielvideos, z. B. gs://my-bucket/embeddings/supermarket-video.mp4, oder durch den Base64-String des Videos.

Nächste Schritte