面向 BigQuery 用户的 Vertex AI

本页面介绍 Vertex AI 与 BigQuery 之间的差异,并说明如何将 Vertex AI 与现有的 BigQuery 工作流集成。Vertex AI 和 BigQuery 协同工作,以满足机器学习和 MLOps 使用场景的需要。

如需详细了解 Vertex AI 和 BigQuery 之间的模型训练差异,请参阅选择训练方法

Vertex AI 和 BigQuery 之间的差异

本部分介绍 Vertex AI、BigQuery 和 BigQuery ML 服务。

Vertex AI:端到端人工智能/机器学习平台

Vertex AI 是一个用于模型开发和治理的人工智能/机器学习平台。常见用例包括:

  • 机器学习任务,例如预测、预报、推荐和异常检测
  • 生成式 AI 任务,例如:

    • 文本生成、分类、总结和提取
    • 代码生成和补全
    • 图片生成
    • 嵌入生成

您可以使用 BigQuery 为 Vertex AI 模型准备训练数据,并将其作为特征在 Vertex AI Feature Store 中提供

您可以通过以下三种方式在 Vertex AI 中训练模型:

  • AutoML:无需编写代码,即可基于图片、表格和视频数据集训练模型。
  • 自定义训练:运行为您的特定应用场景量身定制的训练代码。
  • Ray on Vertex AI:使用 Ray 扩展 AI 和 Python 应用(例如机器学习)。

您还可以导入在其他平台(例如 BigQuery ML 或 XGBoost)上训练的模型。

您可以将自定义训练的模型注册到 Vertex AI Model Registry。您还可以导入在 Vertex AI 外部训练的模型,并将其注册到 Vertex AI Model Registry。您无需注册 AutoML 模型;它们会在创建时自动注册。

在注册表中,您可以管理模型版本、部署到端点以进行在线预测、执行模型评估、使用 Vertex AI 模型监控对部署进行监控以及利用 Vertex Explainable AI

可用的语言:

BigQuery:无服务器、多云企业数据仓库

BigQuery 是一种全代管式企业数据仓库,可帮助您使用机器学习、地理空间分析和商业智能等内置功能管理和分析数据。BigQuery 表可通过 SQL 查询,并且主要使用 SQL 的数据科学家只需使用几行代码即可运行大型查询。

您还可以将 BigQuery 用作在 Vertex AI 中构建表格和自定义模型时引用的数据存储区。如需详细了解如何将 BigQuery 用作数据存储区,请参阅 BigQuery 存储概览

可用的语言:

如需了解详情,请参阅 BigQuery SQL 方言

BigQuery ML:直接在 BigQuery 中进行机器学习

借助 BigQuery ML,您可以在 BigQuery 中开发和调用模型。借助 BigQuery ML,您可以使用 SQL 直接在 BigQuery 中训练机器学习模型,而无需移动数据或担心底层训练基础架构。您可以为 BigQuery ML 模型创建批量预测,以从 BigQuery 数据中获取数据洞见。

您还可以使用 BigQuery ML 访问 Vertex AI 模型。您可以基于 Vertex AI 内置模型(例如 Gemini)或 Vertex AI 自定义模型创建 BigQuery ML 远程模型。与任何其他 BigQuery ML 模型一样,您可以使用 BigQuery 中的 SQL 与远程模型交互,但远程模型的所有训练和推理都在 Vertex AI 中处理。

可用的语言:

如需详细了解使用 BigQuery ML 的优势,请参阅 BigQuery 中的 AI 和 ML 简介

在 Vertex AI 中管理 BigQuery ML 模型的好处

您可以将 BigQuery ML 模型注册到 Model Registry,以便在 Vertex AI 中管理这些模型。在 Vertex AI 中管理 BigQuery ML 模型有两个主要优势:

  • 在线模型传送:BigQuery ML 仅支持对模型进行批量预测。如需进行在线预测,您可以在 BigQuery ML 中训练模型,并通过 Vertex AI Model Registry 将模型部署到 Vertex AI 端点。

  • MLOps 功能:如果模型通过持续训练保持最新状态,则模型表现最出色。Vertex AI 提供的 MLOps 工具会自动监控和重新训练模型,以持续保证预测的准确性。借助 Vertex AI 流水线,您可以使用 BigQuery 运算符将任何 BigQuery 作业(包括 BigQuery ML)插入到机器学习流水线中。借助 Vertex AI 模型监控,您可以随着时间的推移监控 BigQuery ML 预测。

Google Cloud 产品及其在 MLOps 工作流中的位置的图片

如需了解如何将 BigQuery ML 模型注册到 Model Registry,请参阅使用 Vertex AI 管理 BigQuery ML 模型

您想要执行什么操作? 资源
使用 BigQuery ML 通过 Vertex AI 上的 Gemini 分析图片和文本 使用 Gemini 1.5 Flash 在 BigQuery 中分析电影海报
使用 BigQuery ML 通过 Vertex AI 上的基准模型,根据 BigQuery 表格或非结构化数据生成文本 在 Vertex AI 中使用 BigQuery ML 和基础模型生成文本
使用 BigQuery ML 针对文本和图片生成矢量嵌入 从 BigQuery ML 调用 Vertex AI 中的多模态嵌入端点,以生成用于语义搜索的嵌入
使用两个 Vertex AI 表格工作流流水线,以使用不同的配置训练 AutoML 模型。 表格工作流:AutoML 表格流水线
使用 Python 版 Vertex AI SDK 来训练表格回归的 AutoML 模型,并从该模型获得批量预测。 Python 版 Vertex AI SDK:使用 BigQuery 进行批量预测的表格回归模型的 AutoML 训练
在 BigQuery ML 中训练和评估意愿模型,以预测移动游戏的用户留存率。 使用 Google Analytics 4 和 BigQuery ML 为游戏开发者提供流失预测结果
使用 BigQuery ML 基于 CDM 价格数据执行价格优化。 基于 CDM 价格数据分析价格优化

后续步骤