本页面介绍了一个预览版，该预览版使您可以在 AlloyDB Omni 中试验使用模型端点管理注册 AI 模型端点并调用预测。如需在生产环境中使用 AI 模型，请参阅使用 AlloyDB AI 构建生成式 AI 应用和使用向量嵌入。
如需向 AlloyDB 注册远程模型端点，请参阅在 AlloyDB 中注册和调用远程 AI 模型。
概览
借助模型端点管理预览版，您可以注册模型端点，在数据库集群中管理模型端点元数据，然后使用 SQL 查询与模型进行互动。它提供了 google_ml_integration 扩展程序，其中包含相应函数以用于添加和注册与模型相关的模型端点元数据，然后使用模型生成向量嵌入或调用预测。
您可以使用模型端点管理注册的一些示例模型类型如下：
- Vertex AI 文本嵌入模型
- Anthropic、Hugging Face 或 OpenAI 等第三方提供商提供的嵌入模型。
- 自定义托管文本嵌入模型
- 使用基于 JSON 的 API 的通用模型，例如托管在 Hugging Face 上的
facebook/bart-large-mnli模型或来自 Vertex AI Model Garden 的gemini-pro模型
工作原理
您可以使用模型端点管理功能注册符合以下条件的模型端点：
- 模型输入和输出支持 JSON 格式。
- 模型可以使用 REST 协议来调用。
当您使用模型端点管理注册模型端点时，模型端点管理会使用您提供的唯一模型 ID（作为对模型的引用）来注册每个端点。您可以使用此模型 ID 来查询模型：
生成嵌入以将文本提示转换为数值向量。在数据库中启用
pgvector扩展程序后，您可以将生成的嵌入存储为向量数据。调用预测以在事务中使用 SQL 调用模型。
您的应用可以使用 google_ml_integration 扩展程序访问模型端点管理。此扩展程序提供以下函数：
google_ml.create_model()SQL 函数，用于注册在预测或嵌入函数中使用的模型端点。google_ml.create_sm_secret()SQL 函数，使用 Google CloudSecret Manager 中的 Secret（API 密钥存储在其中）。google_ml.embedding()SQL 函数，一个生成文本嵌入的预测函数。google_ml.predict_row()SQL 函数，用于在您调用支持 JSON 输入和输出格式的通用模型时生成预测。- 其他辅助函数，用于为您的通用模型生成自定义网址、生成 HTTP 标头或传递转换函数。
- 用于管理已注册模型端点和 Secret 的函数。
主要概念
在开始使用模型端点管理之前，请了解连接到模型和使用模型所需的概念。
模型提供商 {: #model-provider}̦
模型提供商指示支持的模型托管服务提供商。下表显示了您必须根据所使用的模型提供商设置的模型提供商值：
| 模型提供商 | 在函数中设置为… |
|---|---|
| Vertex AI | google |
| Hugging Face 模型 | custom |
| Anthropic 模型 | custom |
| 其他模型 | custom |
| OpenAI | open_ai |
默认的模型提供商为 custom。
支持的身份验证方法因提供商类型而异。Vertex AI 模型使用 AlloyDB 服务账号进行身份验证，而其他提供商的模型可以使用 Secret Manager 进行身份验证。
模型类型
模型类型指示 AI 模型的类型。扩展程序支持文本嵌入以及任何通用模型类型。注册模型端点时，您可以设置的受支持模型类型为 text-embedding 和 generic。注册通用模型端点时，设置模型类型是可选操作，因为 generic 是默认模型类型。
- 具有内置支持的文本嵌入模型
- 模型端点管理为所有版本的 Vertex AI
textembedding-gecko模型和 OpenAItext-embedding-ada-002模型提供内置支持。如需注册这些模型端点，请使用google_ml.create_model()函数。AlloyDB 会自动为这些模型设置默认转换函数。 - 这些模型的类型为
text-embedding。 - 其他文本嵌入模型
- 对于其他文本嵌入模型，您需要创建转换函数来处理模型支持的输入和输出格式。（可选）您可以使用 HTTP 标头生成函数，它可以生成模型所需的自定义标头。
- 这些模型的类型为
text-embedding。 - 通用模型
- 除了文本嵌入模型之外，模型端点管理还支持注册所有其他类型的模型。如需为通用模型调用预测，请使用
google_ml.predict_row()函数。您可以设置模型端点元数据，例如模型特有的请求端点和 HTTP 标头。 - 注册通用模型端点时，您无法传递转换函数。请确保在调用预测时，函数的输入采用 JSON 格式，并确保解析 JSON 输出以获得最终输出。
- 这些模型的类型为
generic。
身份验证
身份验证类型表示您可以使用 google_ml_integration 扩展程序连接到模型端点管理的身份验证类型。设置身份验证是可选的，只有在您需要通过身份验证才能访问模型时才需要设置身份验证。
对于 Vertex AI 模型，AlloyDB 服务账号用于进行身份验证。对于其他模型，在 Secret Manager 中作为 Secret 存储的 API 密钥或不记名令牌可与 google_ml.create_sm_secret() SQL 函数搭配使用。
下表显示了您可以设置的身份验证类型：
| 身份验证方法 | 在函数中设置为… | 模型提供商 |
|---|---|---|
| AlloyDB 服务代理 | alloydb_service_agent_iam |
Vertex AI 提供商 |
| Secret Manager | secret_manager |
第三方提供商，例如 Anthropic、Hugging Face 或 OpenAI |
预测函数
google_ml_integration 扩展程序包含以下预测函数：
google_ml.embedding()- 用于调用已注册的文本嵌入模型端点以生成嵌入。它包含对 Vertex AI
textembedding-gecko模型和 OpenAItext-embedding-ada-002模型的内置支持。 - 对于不提供内置支持的文本嵌入模型，输入和输出参数是模型所特有的，需要进行转换，才能让函数调用模型。创建一个转换输入函数，以将预测函数的输入转换为模型特有的输入，并创建一个转换输出函数，以将模型特有的输出转换为预测函数输出。
google_ml.predict_row()- 用于调用已注册的通用模型端点（只要它们支持基于 JSON 的 API）以调用预测。
转换函数
转换函数会将输入内容修改为模型可理解的格式，并将模型响应转换为预测函数所需的格式。在注册没有内置支持的 text-embedding 模型端点时，会使用转换函数。转换函数的签名取决于模型类型的预测函数。
注册 generic 模型端点时，您无法使用转换函数。
以下示例展示了文本嵌入模型的预测函数签名：
// define custom model specific input/output transform functions.
CREATE OR REPLACE FUNCTION input_transform_function(model_id VARCHAR(100), input_text TEXT) RETURNS JSON;
CREATE OR REPLACE FUNCTION output_transform_function(model_id VARCHAR(100), response_json JSON) RETURNS real[];
如需详细了解如何创建转换函数，请参阅转换函数示例。
HTTP 标头生成函数
HTTP 标头生成函数会以 JSON 键值对的形式生成输出，这些键值对会用作 HTTP 标头。预测函数的签名定义了标头生成函数的签名。
以下示例展示了 google_ml.embedding() 预测函数的签名。
CREATE OR REPLACE FUNCTION generate_headers(model_id VARCHAR(100), input TEXT) RETURNS JSON;
对于 google_ml.predict_row() 预测函数，签名如下所示：
CREATE OR REPLACE FUNCTION generate_headers(model_id VARCHAR(100), input JSON) RETURNS JSON;
如需详细了解如何创建标头生成函数，请参阅 HTTP 标头生成函数。