生成多模态嵌入

本页面介绍了如何使用受支持的 Vertex AI 多模态模型 multimodalembedding@001 生成多模态嵌入。

您可以使用支持的模型中提及的 Vertex AI 多模态嵌入模型。

本页面假定您熟悉 AlloyDB for PostgreSQL 和生成式 AI 概念。如需详细了解嵌入，请参阅什么是嵌入。

准备工作

在使用多模态嵌入之前，请执行以下操作：

与 Vertex AI 集成并安装扩展程序

与 Vertex AI 集成。

确保已安装最新版本的 google_ml_integration。

如需检查已安装的版本，请运行以下命令：

        SELECT extversion FROM pg_extension WHERE extname = 'google_ml_integration';
        extversion
        ------------
        1.4.3
        (1 row)

如果未安装该扩展程序，或者安装的版本低于 1.4.3，请运行以下命令来更新该扩展程序：
```
        CREATE EXTENSION IF NOT EXISTS google_ml_integration;
        ALTER EXTENSION google_ml_integration UPDATE;
      
```
如果您在运行上述命令时遇到问题，或者在运行上述命令后扩展程序未更新到 1.4.3 版，请与 AlloyDB 支持团队联系。

确保是最新版本后，运行 upgrade_to_preview_version 过程来安装预览版功能：

        CALL google_ml.upgrade_to_preview_version();
        SELECT extversion FROM pg_extension WHERE extname = 'google_ml_integration';
        extversion
        ------------
        1.4.4
        (1 row)

访问 Cloud Storage 中的数据以生成多模态嵌入

如需生成多模态嵌入，请使用 gs:// URI 引用 Cloud Storage 中的内容。
通过当前项目的 Vertex AI 服务代理访问 Cloud Storage 内容。默认情况下，Vertex AI 服务代理已获得访问同一项目中的存储桶的权限。如需了解详情，请参阅 IAM 角色和权限索引。
如需访问其他 Google Cloud 项目的 Cloud Storage 存储桶中的数据，请运行以下 gcloud CLI 命令，以向 AlloyDB 项目的 Vertex AI 服务代理授予 Storage Object Viewer 角色 (roles/storage.objectViewer)。
```
gcloud projects add-iam-policy-binding <ANOTHER_PROJECT_ID> \
--member="serviceAccount:service-<PROJECT_ID>@gcp-sa-aiplatform.iam.gserviceaccount.com" \
--role="roles/storage.objectViewer"
```
如需了解详情，请参阅为存储桶设置和管理 IAM 政策。

如需生成多模态嵌入，请选择以下架构之一。