在 AlloyDB 中注册和调用远程 AI 模型概览

本页面介绍了在使用模型端点管理注册 AI 模型端点并调用预测之前必须了解的关键概念。

如需向 AlloyDB Omni 注册远程模型端点，请参阅在 AlloyDB Omni 中注册和调用远程 AI 模型。

概览

模型端点管理是一项 AlloyDB AI 功能，其中包含可帮助您注册和管理 AI 模型元数据的函数和运算符。您可以注册模型端点、在数据库集群中管理模型端点元数据，并使用 SQL 查询调用远程模型端点。

模型端点管理提供了 google_ml_integration 扩展程序，其中包含可让您向 AlloyDB 注册与 AI 模型相关的元数据的函数。此注册的元数据用于生成向量嵌入或调用预测。

AlloyDB AI 查询引擎是一组基于模型端点管理（预览版）构建的函数，并增加了对 AI 运算符的支持，让您可以将自然语言短语与 SQL 查询结合使用，例如使用 ai.if() 进行过滤和联接、使用 ai.rank() 进行排序，以及使用 ai.generate() 生成数据摘要。还添加了对 Vertex AI 多模态和排名模型的支持。

您可以使用模型端点管理注册的一些示例模型类型如下：

  • Vertex AI 文本嵌入和通用模型
  • Vertex AI 多模态模型（预览版）
  • Vertex AI 排名模型（预览版）
  • Hugging Face 或 OpenAI 等第三方提供商提供的嵌入模型
  • 自定义托管文本嵌入模型，包括自托管的模型或通过专用端点提供的模型
  • 使用基于 JSON 的 API 的通用模型，例如托管在 Hugging Face 上的 facebook/bart-large-mnli 模型、来自 Vertex AI Model Garden 的 gemini-pro 模型或 Anthropic 的 claude 模型

使用场景

您可以调用已注册的模型端点，与数据库中的现有数据进行互动，以生成嵌入或预测。一些应用场景如下：

  • 使用事务应用进行实时推断：根据用户的当前浏览记录和购物车内容提供实时建议。
  • 识别情绪并生成摘要：针对顾客评价数据库，生成摘要或识别每条评价的关键情绪。
  • 智能搜索和检索系统：为内部知识库的数据库构建搜索系统，并在 SQL 运算符中使用自然语言，而不是关键字。
  • 个性化用户体验：优化内容平台，根据用户过往的互动，动态地向每位用户展示个性化内容。

如需详细了解 AlloyDB AI 应用场景，请参阅 AlloyDB AI 应用场景。

工作原理

您可以使用模型端点管理功能注册符合以下条件的模型端点：

  • 模型输入和输出支持 JSON 格式。
  • 可以使用 REST 协议来调用模型。

当您使用模型端点管理注册模型端点时，模型端点管理会使用您提供的唯一模型 ID（作为对模型的引用）来注册每个端点。

您可以使用模型端点 ID 查询模型，以执行以下操作：

  • 生成嵌入以将文本提示转换为数值向量。在数据库中启用 vector 扩展程序后，您可以将生成的嵌入存储为向量数据。如需了解详情，请参阅使用 pgvector 查询嵌入和为嵌入编制索引。

  • 生成多模态嵌入，以将文本、图片和视频等多模态数据转换为嵌入。（预览）

  • 根据使用自然语言说明的条件，对查询中的项列表进行排名或评分。（预览）

  • 使用 SQL 调用预测。

主要概念

在开始使用模型端点管理之前，请了解连接到模型和使用模型所需的概念。

架构

您的应用可以使用 google_ml_integration 扩展程序访问模型端点管理。google_ml_integration 扩展程序包含 public、google_ml 和 ai 架构中的函数。所有函数都包含在 google_ml 架构中，并且 public 和 ai 架构中提供了某些函数。

如需详细了解架构，请参阅架构。

模型提供商

模型提供商指示支持的模型托管服务提供商。设置模型提供商是可选的，但有助于模型端点管理识别提供商，并自动格式化受支持模型的标头。

如需详细了解模型提供商，请参阅模型提供商。

模型类型

模型类型指示 AI 模型的类型。扩展程序支持文本嵌入以及任何通用模型类型。注册模型端点时，您可以设置的受支持模型类型为 text-embedding 和 generic。

注册通用模型端点时，设置模型类型是可选的，因为 generic 是默认模型类型。

如需详细了解模型类型，请参阅模型类型。

身份验证

身份验证类型表示您可以使用 google_ml_integration 扩展程序连接到模型端点管理的身份验证类型。设置身份验证是可选的，只有在您需要通过身份验证才能访问模型时才需要设置身份验证。

如需详细了解身份验证，请参阅身份验证。

预测函数

预测函数是 SQL 函数，可让您在 AlloyDB 数据库中与 AI 模型进行互动。借助这些函数，您可以使用标准 SQL 查询将数据发送到模型端点，并生成嵌入或预测。

如需详细了解预测函数，请参阅预测函数。

运算符函数

google_ml_integration 扩展程序包含以下运算符函数，这些函数使用默认 Gemini 在 SQL 运算符中使用自然语言。

如需详细了解运算符函数，请参阅运算符函数。

转换函数

转换函数会将输入内容修改为模型可理解的格式，并将模型响应转换为预测函数所需的格式。在注册没有内置支持的 text-embedding 模型端点时，会使用转换函数。转换函数的签名取决于模型预期的输入。

如需详细了解转换函数，请参阅转换函数。

HTTP 标头生成函数

HTTP 标头生成函数会以 JSON 键值对的形式生成输出，这些键值对会用作 HTTP 标头。预测函数的签名定义了标头生成函数的签名。

如需详细了解 HTTP 标头生成函数，请参阅 HTTP 标头生成函数。

后续步骤