Model Garden 是一个 AI/机器学习模型库,可帮助您发现、测试、自定义和部署 Google 及 Google 合作伙伴提供的模型和资产。
Model Garden 的优势
在您使用 AI 模型时,Model Garden 可提供以下优势:
- 所有可用模型都集中在一个位置
- Model Garden 为不同类型的模型提供了一致的部署模式
- Model Garden 内置了与 Vertex AI 其他部分(例如模型调优、评估和提供)的集成
- 尽管提供生成式 AI 模型并不是那么容易,但 Vertex AI 会为您处理模型部署和提供环节
探索模型
如需查看可用的 Vertex AI 和开源基础模型、可调优模型以及针对特定任务的模型的列表,请在Google Cloud 控制台中,前往“Model Garden”页面。
Model Garden 中提供的模型类别包括:
类别 | 说明 |
---|---|
基础模型 | 预训练的多任务大型模型,可使用 Vertex AI Studio、Vertex AI API 和 Vertex AI SDK for Python 针对特定任务进行调优或自定义。 |
可微调的模型 | 您可以使用自定义笔记本或流水线微调模型。 |
针对特定任务的解决方案 | 其中大多数预构建模型都可以使用。其中许多数据都可以使用您自己的数据进行自定义。 |
如需在过滤条件窗格中过滤模型,请指定以下内容:
- 任务:点击您希望模型执行的任务。
- 模型集合:点击以选择由 Google、合作伙伴或您自己管理的模型。
- 提供方:点击模型的提供方。
- 特征:点击所需的模型特征。
如需详细了解每个模型,请点击其模型卡片。
如需查看 Model Garden 中提供的模型列表,请参阅 Model Garden 中提供的模型。
模型安全扫描
Google 会对我们提供的服务和调谐容器进行全面的测试和基准化测试。主动漏洞扫描也适用于容器制品。
系统会对精选合作伙伴提供的第三方模型进行模型检查点扫描,以确保其真实性。HuggingFace Hub 提供的第三方模型由 HuggingFace 及其第三方扫描程序直接进行扫描,以查找恶意软件、pickle 文件、Keras Lambda 层和 Secret。如果模型被扫描程序视为不安全,HuggingFace 会标记这些模型,并阻止在 Model Garden 中部署这些模型。被视为可疑的模型或可能会执行远程代码的模型会在 Model Garden 中注明,但这些模型仍可部署。建议您在 Model Garden 中部署任何可疑模型之前,先对其进行全面审核。
价格
对于 Model Garden 中的开源模型,您需要为在 Vertex AI 上使用以下各项付费:
- 模型调优:您需要按与自定义训练相同的费率为使用的计算资源付费。请参阅自定义训练价格。
- 模型部署:您需要为将模型部署到端点所使用的计算资源付费。请参阅预测价格。
- Colab Enterprise:请参阅 Colab Enterprise 价格。
控制对特定模型的访问权限
您可以在组织、文件夹或项目级设置 Model Garden 组织政策,以控制对 Model Garden 中特定模型的访问权限。例如,您可以允许访问您已审核的特定模型,并禁止访问所有其他模型。
详细了解 Model Garden
如需详细了解 Model Garden 中模型的部署选项和自定义设置,请查看以下部分中的资源,其中包括指向教程、参考资料、笔记本和 YouTube 视频的链接。
部署并提供
详细了解如何自定义部署及高级提供功能。
- 使用 Python SDK、CLI、REST API 或控制台部署和提供开源模型
- Model Garden YouTube 视频:部署和微调 Gemma 3
- 部署 Gemma 并进行预测
- 在 Cloud TPU 上使用 Hex-LLM 容器提供开放模型
- 使用 Hex-LLM 部署 Llama 模型的教程笔记本
- 通过 Hex-LLM 或 vLLM 使用前缀缓存和推测解码的教程笔记本
- 使用 vLLM 在 Cloud GPU 上提供纯文本和多模态语言模型
- 使用 xDiT GPU 服务容器生成图片和视频
- Medium 上的教程:通过 HuggingFace DLC 提供具有多个 LoRA 适配器的 Gemma 2,以实现 PyTorch 推理
- LinkedIn 上的教程:使用自定义处理程序,通过 HuggingFace DLC 提供 PaliGemma 进行图片标注,以实现 PyTorch 推理
- 教程笔记本:部署并提供使用 Spot 虚拟机或 Compute Engine 预留的模型
- 部署并提供 HuggingFace 模型
容器合规性
Model Garden 提供以下符合 FedRAMP 高合规性要求的容器来用于提供模型。
调优
详细了解如何调优模型,以便针对特定用例量身定制回答。
评估
详细了解如何使用 Vertex AI 评估模型回答