在 AlloyDB Omni 中注册和调用远程 AI 模型概览

本页面介绍了一个预览版，该预览版使您可以在 AlloyDB Omni 中试验使用模型端点管理注册 AI 模型端点并调用预测。如需在生产环境中使用 AI 模型，请参阅使用 AlloyDB AI 构建生成式 AI 应用和使用向量嵌入。

如需向 AlloyDB 注册远程模型端点，请参阅在 AlloyDB 中注册和调用远程 AI 模型。

概览

借助模型端点管理预览版，您可以注册模型端点，在数据库集群中管理模型端点元数据，然后使用 SQL 查询与模型进行互动。它提供了 google_ml_integration 扩展程序，其中包含相应函数以用于添加和注册与模型相关的模型端点元数据，然后使用模型生成向量嵌入或调用预测。

您可以使用模型端点管理注册的一些示例模型类型如下：

• Vertex AI 文本嵌入模型
• Anthropic、Hugging Face 或 OpenAI 等第三方提供商提供的嵌入模型。
• 自定义托管文本嵌入模型
• 使用基于 JSON 的 API 的通用模型，例如托管在 Hugging Face 上的 facebook/bart-large-mnli 模型或来自 Vertex AI Model Garden 的 gemini-pro 模型

工作原理

您可以使用模型端点管理功能注册符合以下条件的模型端点：

• 模型输入和输出支持 JSON 格式。
• 模型可以使用 REST 协议来调用。

当您使用模型端点管理注册模型端点时，模型端点管理会使用您提供的唯一模型 ID（作为对模型的引用）来注册每个端点。您可以使用此模型 ID 来查询模型：

• 生成嵌入以将文本提示转换为数值向量。在数据库中启用 pgvector 扩展程序后，您可以将生成的嵌入存储为向量数据。

• 调用预测以在事务中使用 SQL 调用模型。

您的应用可以使用 google_ml_integration 扩展程序访问模型端点管理。此扩展程序提供以下函数：

• google_ml.create_model() SQL 函数，用于注册在预测或嵌入函数中使用的模型端点。
• google_ml.create_sm_secret() SQL 函数，使用 Google CloudSecret Manager 中的 Secret（API 密钥存储在其中）。
• google_ml.embedding() SQL 函数，一个生成文本嵌入的预测函数。
• google_ml.predict_row() SQL 函数，用于在您调用支持 JSON 输入和输出格式的通用模型时生成预测。
• 其他辅助函数，用于为您的通用模型生成自定义网址、生成 HTTP 标头或传递转换函数。
• 用于管理已注册模型端点和 Secret 的函数。

主要概念

在开始使用模型端点管理之前，请了解连接到模型和使用模型所需的概念。

模型提供商 {: #model-provider}̦

模型提供商指示支持的模型托管服务提供商。下表显示了您必须根据所使用的模型提供商设置的模型提供商值：

默认的模型提供商为 custom。

支持的身份验证方法因提供商类型而异。Vertex AI 模型使用 AlloyDB 服务账号进行身份验证，而其他提供商的模型可以使用 Secret Manager 进行身份验证。

模型类型

模型类型指示 AI 模型的类型。扩展程序支持文本嵌入以及任何通用模型类型。注册模型端点时，您可以设置的受支持模型类型为 text-embedding 和 generic。 注册通用模型端点时，设置模型类型是可选操作，因为 generic 是默认模型类型。

具有内置支持的文本嵌入模型

模型端点管理为所有版本的 Vertex AI textembedding-gecko 模型和 OpenAI text-embedding-ada-002 模型提供内置支持。如需注册这些模型端点，请使用 google_ml.create_model() 函数。AlloyDB 会自动为这些模型设置默认转换函数。

这些模型的类型为 text-embedding。

其他文本嵌入模型

对于其他文本嵌入模型，您需要创建转换函数来处理模型支持的输入和输出格式。（可选）您可以使用 HTTP 标头生成函数，它可以生成模型所需的自定义标头。

这些模型的类型为 text-embedding。

通用模型

除了文本嵌入模型之外，模型端点管理还支持注册所有其他类型的模型。如需为通用模型调用预测，请使用 google_ml.predict_row() 函数。您可以设置模型端点元数据，例如模型特有的请求端点和 HTTP 标头。

注册通用模型端点时，您无法传递转换函数。请确保在调用预测时，函数的输入采用 JSON 格式，并确保解析 JSON 输出以获得最终输出。

这些模型的类型为 generic。

身份验证

身份验证类型指示您在使用 google_ml_integration 扩展程序连接到模型端点管理时可以使用的身份验证类型。设置身份验证是可选操作，只有在您需要通过身份验证才能访问模型时才需要设置身份验证。

对于 Vertex AI 模型，AlloyDB 服务账号用于进行身份验证。对于其他模型，在 Secret Manager 中作为 Secret 存储的 API 密钥或不记名令牌可与 google_ml.create_sm_secret() SQL 函数搭配使用。

下表显示了您可以设置的身份验证类型：

预测函数

google_ml_integration 扩展程序包含以下预测函数：

google_ml.embedding()

用于调用已注册的文本嵌入模型端点以生成嵌入。它包含对 Vertex AI textembedding-gecko 模型和 OpenAI text-embedding-ada-002 模型的内置支持。

对于不提供内置支持的文本嵌入模型，输入和输出参数是模型所特有的，需要进行转换，才能让函数调用模型。创建一个转换输入函数，以将预测函数的输入转换为模型特有的输入，并创建一个转换输出函数，以将模型特有的输出转换为预测函数输出。

google_ml.predict_row()

用于调用已注册的通用模型端点（只要它们支持基于 JSON 的 API）以调用预测。

转换函数

转换函数会将输入内容修改为模型可理解的格式，并将模型响应转换为预测函数所需的格式。在注册没有内置支持的 text-embedding 模型端点时，会使用转换函数。转换函数的签名取决于模型类型的预测函数。

注册 generic 模型端点时，您无法使用转换函数。

以下示例展示了文本嵌入模型的预测函数签名：

// define custom model specific input/output transform functions.
CREATE OR REPLACE FUNCTION input_transform_function(model_id VARCHAR(100), input_text TEXT) RETURNS JSON;

CREATE OR REPLACE FUNCTION output_transform_function(model_id VARCHAR(100), response_json JSON) RETURNS real[];

如需详细了解如何创建转换函数，请参阅转换函数示例。

HTTP 标头生成函数

HTTP 标头生成函数会以 JSON 键值对的形式生成输出，这些键值对会用作 HTTP 标头。预测函数的签名定义了标头生成函数的签名。

以下示例展示了 google_ml.embedding() 预测函数的签名。

CREATE OR REPLACE FUNCTION generate_headers(model_id VARCHAR(100), input TEXT) RETURNS JSON;

对于 google_ml.predict_row() 预测函数，签名如下所示：

CREATE OR REPLACE FUNCTION generate_headers(model_id VARCHAR(100), input JSON) RETURNS JSON;

如需详细了解如何创建标头生成函数，请参阅 HTTP 标头生成函数。

后续步骤

• 使用模型端点管理注册模型端点。
• 查看模型端点管理参考文档。