Vertex AI 生成式 AI 笔记本教程

Gemini 1.5 Pro（预览版）简介

使用 Gemini 1.5 Pro（预览版）分析音频文件、理解视频、从 PDF 中提取信息以及同时处理多种类型的媒体。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

分析代码库

请使用此笔记本来了解如何使用 Gemini 1.5 Pro（预览版）生成代码、汇总代码库、调试、改进代码以及评估代码。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

Gemini 使用入门 (cUrl)

将可让您访问 Google 的最新大语言模型的 Gemini API 与 REST/curl 搭配使用。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

Gemini 使用入门 (Python SDK)

将可让您访问 Google 的最新大语言模型的 Gemini API 与 Python 版 Vertex AI SDK 搭配使用。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

使用 Gemini 的多模态应用场景

Gemini 模型是由 Google AI 开发的开创性多模态语言模型，能够从各种数据格式（包括图片和视频）中提取有意义的数据洞见。此笔记本探索使用多模态提示的各种应用场景。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

Python 版 Vertex AI SDK 中的快速评估入门

使用快速评估功能，通过 Python 版 Vertex AI SDK 在评估任务中评估 Gemini 模型。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

使用 Gemini 实现提示工程、评估和提示模板

使用 Gemini 模型进行快速评估以实现提示工程和评估，并将提示模板与 Python 版 Vertex AI SDK 搭配使用以实现提示设计。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

对生成模型进行评分和选择

使用快速评估功能，通过 Vertex AI SDK for Python 为特定评估任务对不同的生成式模型进行评分和评估，然后直观呈现和比较该任务的评估结果。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

评估和选择 Gemini 模型生成设置

借助 Python 版 Vertex AI SDK，使用快速评估功能评估和选择 Gemini 的温度和其他模型生成配置，并比较不同生成设置在质量、流畅性、安全性和详细程度方面的指标结果。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

使用 Gemini 定义评估指标

借助 Vertex AI SDK for Python，使用快速评估功能通过自定义的评估指标进行评估。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

评估 Gemini 1.0 Pro 模型函数调用质量

使用 Gemini 1.0 Pro 模型生成函数调用，并借助 Python 版 Vertex AI SDK 使用快速评估功能来评估 Gemini 1.0 Pro 模型函数调用质量。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

在 Vertex AI SDK for Python 中通过快速评估功能评估从检索增强生成 (RAG) 生成的回答

借助 Vertex AI SDK for Python，使用快速评估功能评估来自检索增强生成 (RAG) 生成的回答的问答任务。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

使用 Gemini Pro 将 Streamlit 应用部署到 Cloud Run

使用 Gemini Pro 将简单的 Streamlit 示例聊天机器人应用部署到 Cloud Run。

在 GitHub 上查看

多模态 RAG

此笔记本扩展了传统上对文本数据执行的 RAG，展示了如何对多模态数据执行 RAG，以根据包含文本和图片的科研论文进行问答。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

在教育领域使用 Gemini

在教育领域使用 Gemini 模型，提供各种提示示例，并支持包括图片和视频在内的多种模态。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

使用 Gemini 进行多模态零售推荐

在零售行业，推荐对于影响客户决策和促进销售具有重要作用。在此笔记本中，您将学习如何利用多模态的强大功能执行零售推荐，以根据客户的客厅图片，在四张椅子图片中帮助客户选择最适合的椅子。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

使用 Gemini 执行函数调用的简介

使用 Dialogflow Pro 模型执行以下任务：

• 根据文本提示生成函数调用，以获取给定位置的天气
• 根据文本提示生成函数调用并调用外部 API 对地址进行地理编码
• 根据聊天提示生成函数调用，以帮助零售用户

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

使用 Vertex AI 调整基础模型

完成整个设置和集成过程。从环境设置到基础模型选择，再到使用 Vertex AI 进行调整。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

Vertex AI LLM 评估服务

将 Vertex AI LLM 评估服务与其他 Vertex AI 服务结合使用。

在 GitHub 上查看

运行 Langchain 链

运行 Langchain 链并输出链中每个步骤发生的详细情况，并可设置可选的调试断点。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

高级提示工程训练

使用思维链和 ReAct（推理 + 动作）来设计提示并减少幻觉。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

使用 Vertex AI Embeddings for Multimodal 和 Vector Search

使用 DiffusionDB 数据集和 Vertex AI Embeddings for Multimodal 模型来创建文本转图片嵌入。嵌入会上传到 Vector Search 服务，这是一项大规模、低延迟的解决方案，可用于针对大型语料库查找类似向量。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

使用嵌入执行语义搜索

创建根据文本生成的嵌入并执行语义搜索。嵌入使用“Google ScaNN：高效的向量相似度搜索”生成。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

AutoSxS：针对第三方模型评估 Vertex AI Model Registry 中的 LLM

使用 Vertex AI 自动并排评估 (AutoSxS) 来评估 Vertex AI Model Registry 中的生成式 AI 模型与第三方语言模型之间的性能。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

AutoSxS：根据人类偏好数据集检查自动评估器相符情况

使用 Vertex AI 自动并排评估 (AutoSxS) 来确定自动评估器与人工标注者的相符程度。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

Vertex AI LLM 基于人类反馈的强化学习

使用 Vertex AI RLHF 调整大语言模型 (LLM)。此工作流使用训练数据集微调基本模型，从而提高模型的准确率。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

使用 RLHF 调优的模型进行 Vertex AI 批量推理

本教程演示了如何使用 Vertex AI 对经过 RLHF 调优的 OSS 大语言模型 (LLM) 进行端到端推理。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

文本嵌入 API

试用新的文本嵌入模型。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

Vertex AI 调整 PEFT 模型

调整 PEFT 大语言模型 (LLM) 并进行预测。此工作流使用训练数据集微调基本模型，从而提高模型的准确率。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

将 Vertex AI SDK 与大语言模型搭配使用

使用 Vertex AI SDK 在 Vertex AI 上运行大语言模型。测试、调整和部署生成式 AI 语言模型。通过探索内容摘要、情感分析、聊天、文本嵌入和提示调优的示例来入门。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

数据存储区索引搜索对话

Vertex AI Search and Conversation 数据存储区状态检查器

Vertex AI Search and Conversation 数据存储区状态检查器是一个笔记本，它使用 Cloud Discovery Engine API 检查数据存储区中是否有已编入索引的文档。它可让用户执行以下任务：

• 检查给定数据存储区 ID 的索引编制状态。
• 列出给定数据存储区 ID 中的所有文档。
• 列出给定数据存储区 ID 的所有已编入索引的网址。
• 在给定数据存储区 ID 的所有已编入索引的网址中搜索特定网址。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

语音识别 Chirp

Google Cloud 上的 Chirp 的使用入门

此笔记本是 Chirp 的简介，Chirp 是一种使用 Google 最先进的语音识别技术的语音转文字服务。它为开发者提供了简单易用的界面来构建支持语音的应用。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

过滤元数据搜索

使用过滤条件和元数据的 Vertex AI Search

Vertex AI Search 是一项全托管式服务，可让您在 Google Cloud 上构建和部署搜索应用。此笔记本展示了如何在对 Vertex AI Search 的搜索请求中使用过滤条件和元数据。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

文档问答检索增强生成

使用检索增强生成进行文档问答

此笔记本演示了如何使用检索增强生成 (RAG) 为 Google 文档构建问答系统。它展示了如何使用 RAG 生成用于回答给定问题的文本，以及如何使用 RAG 来改善问答系统的性能。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

合同生成检索搜索

检索增强生成（使用开源向量存储区）- 采购合同分析师 - Palm2 和 LangChain

此笔记本演示了如何使用检索增强生成生成合同文本。它使用 Palm2 和 LangChain 模型，这些模型根据大量法律和金融文本进行了预训练。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

问答检索增强生成搜索 LangChain

根据文档进行问答

此笔记本展示了如何通过将 Vertex AI Search 引擎与 LLM 结合来针对数据进行问答。具体而言，我们主要查询 PDF 和 HTML 文件等“非结构化”数据。为了运行此笔记本，您必须创建一个非结构化的搜索引擎，并向其注入 PDF 或 HTML 文档。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

批量问答 Vertex AI Search 问答搜索

使用 Vertex AI Search 进行批量问答

此笔记本显示如何使用 Vertex AI Search 数据存储区回答 CSV 中的问题。它可以在 Colab 或 Vertex AI Workbench 中运行。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

语言编排 LangChain PaLM

LangChain 🦜️🔗 + PaLM API 使用入门

此笔记本简要介绍了语言模型编排框架 LangChain。它展示了如何使用 LangChain 和 PaLM API 来创建和部署文本到文本生成模型。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

BigQuery 数据加载器 LangChain

如何使用 LangChain 🦜️🔗 BigQuery 数据加载器

此笔记本演示了如何使用 LangChain BigQuery 数据加载器将数据从 BigQuery 加载到 LangChain 模型中。笔记本提供了关于设置数据加载器、将数据加载到模型中以及训练模型的分步说明。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

代码代码生成检索增强生成 Codey

将检索增强生成 (RAG) 与 Codey API 搭配使用

此笔记本演示了如何将检索增强生成 (RAG) 与 Codey API 搭配使用。RAG 是一种将代码检索与代码生成相结合的技术，可以生成更准确的且信息丰富的代码补全建议。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

Codey 代码生成语言

Vertex AI Codey API 使用入门 - 代码生成

此笔记本简要介绍了用于生成代码的 Vertex AI Codey API。其中介绍了关于如何使用 API 的基础知识，包括如何创建和部署代码生成模型以及如何使用模型生成代码。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

Codey 补全代码生成

Vertex AI Codey API 使用入门 - 代码补全

此笔记本演示了如何使用 Vertex AI Codey API 获取 Python 代码的代码补全建议。此外，还展示了如何使用 API 生成代码段并在远程环境中运行代码段。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

Codey 代码聊天聊天代码生成文本生成

Vertex AI Codey API 使用入门 - 代码聊天

此笔记本是 Vertex AI Codey API 的简介。其中介绍了有关如何使用 API 的基础知识，包括如何创建和部署模型，以及如何使用 Codey CLI 与模型进行交互。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

语言 PaLM Python SDK

PaLM API 和 Python SDK 使用入门

此笔记本介绍了 PaLM API 和 Python SDK。其中介绍了关于如何使用 API 的基础知识，包括如何创建和部署模型，以及如何使用 API 生成文本、翻译语言和编写不同类型的创意内容。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

语言提示

提示设计 - 最佳实践

此笔记本介绍了基于文本的语言模型的提示设计。其中介绍了提示的基础知识，包括提示的工作原理和编写方式。笔记本还提供了有关改进提示和避免常见错误的建议。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

文本提取

使用 Vertex AI 上的生成模型进行文本提取

此笔记本演示了如何使用生成模型从图片中提取文本。它使用 Vertex AI 生成式 AI 库中的文本转图片模型以及 Vertex AI 文本提取库中的文本提取模型。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

文本分类

使用 Vertex AI 上的生成模型进行文本分类

此笔记本演示了如何使用生成模型在 Vertex AI 上执行文本分类。其中包括以下主题： * 准备数据 * 训练模型 * 部署模型 * 使用模型对文本进行分类

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

思维链 ReAct

思维链和 ReAct

此笔记本介绍了思维链和 ReAct，这两种工具可用于提高强化学习算法的性能。思维链是一种可用于提高值迭代效率的方法，而 ReAct 可用于提高演员-评论家算法的稳定性。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

语言提示构思

使用 Vertex AI 上的生成模型进行构思

此笔记本演示了如何使用生成模型生成文本、图片和代码。还展示了如何使用 Vertex AI 部署和管理生成模型。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

摘要

使用 Vertex AI 上的生成模型进行文本摘要

此笔记本演示了如何使用 Vertex AI 训练和部署文本摘要模型。它使用 BART 模型，这个大语言模型已使用大型文本数据集进行预训练，然后根据文本摘要数据集进行微调，可用于生成新文本的摘要。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

问答

使用 Vertex AI 上的生成模型进行问答

此笔记本演示了如何使用生成模型来回答开放领域问题。它使用 Vertex AI Transformer 模型根据给定问题生成文本。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

文本生成基础模型调优部署

调整和部署基础模型

此笔记本展示了如何使用 Vertex AI 调整基础模型。还介绍了如何将调整后的模型部署到 Vertex AI 端点。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

文档摘要摘要

大型文档的文本摘要

此笔记本演示了如何使用 t5 大型模型来对大型文档进行摘要。该模型根据大型文本和代码数据集训练，可以生成准确而简洁的摘要。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

文档摘要 LangChain 摘要

使用 LangChain 🦜🔗 进行大型文档的文本摘要

此笔记本演示了如何使用 LangChain 模型对大型文档进行摘要。LangChain 是一种大语言模型，可生成文本、翻译语言、撰写不同类型的创意内容，以及通过丰富的信息回答问题。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

文档摘要 Document AI 语言模型摘要文本摘要

使用 Document AI 和 PaLM API 对大型文档进行摘要

此笔记本演示了如何使用 Document AI 和 PaLM API 对大型文档进行摘要。还介绍了如何使用 Document AI API 从文档中提取实体和关键短语。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

聊天机器人文本生成

GroceryBot，示例购物和食谱助理 - RAG + ReAct

此笔记本是关于使用 RAG 和 ReAct 的示例购物和食谱助理。它可以帮助您寻找食谱、创建购物清单并回答有关食品的问题。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

问答文档问答 LangChain

使用 LangChain 🦜🔗 根据大型文档进行问答

此笔记本演示了如何使用 LangChain 模型构建一个可以回答有关长文档的问题的问答系统。该模型根据大型文本语料库训练，可用于回答有关任何主题的问题。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

问答文档问答 - LangChain Vector Search

使用 LangChain 🦜️🔗 和 Vertex AI Vector Search 根据文档进行问答

此笔记本演示了如何使用 LangChain 和 Vertex AI Vector Search（以前称为 Matching Engine）构建文档的问答系统。该系统可以回答有关文档中的实体、日期和数字的问题。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

Document AI 问答 PaLM

使用 Document AI、Pandas 和 PaLM 根据文档进行问答

此笔记本演示了如何使用 Document AI、Pandas 和 PaLM 构建问答系统。它首先使用 Document AI 从文档中提取结构化数据，然后使用 Pandas 根据提取的数据创建 DataFrame，最后使用 PaLM 生成关于数据的问题的回答。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

问答文档问答

根据大型文档进行问答

此笔记本演示了如何使用 Vertex AI Question Answering 服务来构建可根据大型文档回答问题的问答模型。该模型基于维基百科文章的数据集进行训练，可以回答有关各种主题的问题。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

图片生成

基于图片的商品说明生成器

此笔记本演示了如何使用文本转图片模型根据图片生成商品说明。该模型基于商品图片数据集及其相应说明进行训练。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

生成零售 LangChain

DescriptionGen：使用 LangChain 🦜🔗 为零售商生成搜索引擎优化 (SEO) 的商品说明

此笔记本演示了如何使用 LangChain 模型为零售商生成搜索引擎优化 (SEO) 的商品说明。该模型接受输入的商品属性列表，并输出一段突出产品主要功能的简短说明。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

BigQuery DataFrame 文本生成

BigQuery DataFrames ML：药品名称生成

此笔记本演示了如何使用 BigQuery DataFrames ML 生成药品名称。它使用预训练的语言模型生成文本，然后过滤结果以移除已在使用的药品名称。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

BigQuery DataFrames 代码生成

将 BigQuery DataFrames 与生成式 AI 搭配使用来生成代码

此笔记本演示了如何将 BigQuery DataFrames 与生成 AI 搭配使用来生成代码。它展示了如何使用预训练的语言模型生成用于将 BigQuery 表转换为 Pandas DataFrame 的代码。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

BigQuery 语言模型

将 Vertex AI LLM 与 BigQuery 中的数据搭配使用

此笔记本演示了如何将 Vertex AI LLM 与 BigQuery 中的数据搭配使用。它展示了如何从 BigQuery 加载数据、创建 LLM 模型，然后使用该模型根据数据生成文本。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

嵌入相似度可视化

使用 t-SNE 图表直观呈现文本文档的嵌入相似度

此笔记本演示了如何使用 t-SNE 图表直观呈现文本文档的嵌入相似度。它使用 [IMDB 数据集](https://datasets.imdbws.com/) 中的电影评论。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

文本嵌入 Vector Search

文本嵌入 + Vertex AI Vector Search 使用入门

此笔记本简要介绍了文本嵌入，以及如何将其与 Vertex AI Vector Search 搭配使用。其中介绍了文本嵌入的基础知识、如何训练文本嵌入以及如何使用它们执行向量搜索。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

嵌入 Vector Search

Vertex AI Vector Search 快速入门

此笔记本是使用 Vertex AI Vector Search 的快速入门。其中介绍了向量搜索的基础知识，包括如何创建向量索引、如何将数据上传到索引，以及如何执行向量搜索查询。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

Imagen 2 图片生成

使用 Imagen on Vertex AI 生成图片

在此笔记本中，您将使用 Python 版 Vertex AI SDK 探索 Imagen 的图片生成功能。详细了解 Imagen 的图片生成功能。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

Imagen 2 图片生成

Gemini 1.0 Pro 文本生成

Gemini 1.0 Pro 输出文本格式

使用 Imagen 和 Gemini 1.0 Pro 创建高画质视觉素材资源

在此笔记本中，您将使用 Imagen 和 Gemini 1.0 Pro 为餐厅菜单创建高画质视觉素材资源。详细了解图片生成和多模态模型。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

Imagen 2 图片修改

使用自动生成的蒙版区域通过 Imagen 2 修改制作高品质的视觉素材资源

在此笔记本中，您将使用 Vertex AI SDK for Python 探索 Imagen 的图片修改功能。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

Imagen 图片 Visual Question Answering (VQA)

使用 Imagen on Vertex AI 进行视觉问答 (VQA)

此笔记本演示了如何使用 Imagen 生成能够回答给定问题的图片。它还展示了如何将模型部署到 Vertex AI 并使用模型生成图片来回答用户提供的问题。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看

Imagen 图片标注

使用 Imagen on Vertex AI 进行视觉标注

此笔记本演示了如何使用 Imagen（用于生成图片的大语言模型）为图片生成标注。还展示了如何在 Vertex AI 上部署模型。

在 Colab 中打开

在 Colab Enterprise 中打开

在 GitHub 上查看