Google Cloud 致力于提供卓越的人工智能 (AI) 基础架构来为广泛领域中要求严苛的 GPU 加速工作负载提供支持。您可以使用 Google Cloud 上的 GPU 来运行 AI、机器学习 (ML)、科学、分析、工程、消费者和企业应用。
通过与 NVIDIA 合作， Google Cloud 可提供最新的 GPU，同时可通过众多存储和网络选项优化软件堆栈。如需查看可用的 GPU 的完整列表，请参阅 GPU 平台。
以下部分概述了 Google Cloud上的 GPU 的优势。
GPU 加速虚拟机
在 Google Cloud上，您能够以最适合您需求的方式访问和配置 GPU。我们提供专门的加速器优化型机器家族，其中的机器类型预先挂接了 GPU 并可提供卓越的网络功能，能够最大限度地提高机器性能。该系列包括 A4X、A4、A3、A2 和 G2 机器类型。
多种预配选项
您可以将加速器优化型机器家族与以下任一开源产品或 Google Cloud 产品搭配使用来预配集群。
Vertex AI
Vertex AI 是一个全托管式机器学习 (ML) 平台，可用于训练和部署机器学习模型及 AI 应用。在 Vertex AI 应用中，您可以通过以下方式使用 GPU 加速虚拟机来提升性能：
- 在自定义训练 GKE 工作器池中使用支持 GPU 的虚拟机。
- 使用 Vertex AI Model Garden 中的开源 LLM 模型。
- 缩短预测延迟时间。
- 提升 Vertex AI Workbench 笔记本代码的性能。
- 提升 Colab Enterprise 运行时的性能。
Cluster Director
Cluster Director（以前称为 Hypercompute Cluster）是一组功能和服务，旨在让您部署和管理大量（最多数万个）加速器和网络资源，这些资源可作为单个同构单元运行。此选项非常适合创建密集分配且性能经过优化的基础架构，并集成了 Google Kubernetes Engine (GKE) 和 Slurm 调度器。Cluster Director 可帮助您构建专门用于运行 AI、机器学习和 HPC 工作负载的基础架构。如需了解详情，请参阅 Cluster Director。
如需开始使用 Cluster Director，请参阅选择部署策略。
Compute Engine
您还可以在 Compute Engine 上创建和管理挂接了 GPU 的单个虚拟机或较小的虚拟机集群。此方法主要用于运行图形密集型工作负载、模拟工作负载或小规模机器学习模型训练。
下表显示了可用于创建已挂接 GPU 的虚拟机的方法：
部署选项 |
部署指南 |
创建用于提供和单节点工作负载的虚拟机 |
|
创建托管式实例组 (MIG) |
|
批量创建虚拟机 |
|
创建单个虚拟机 |
|
创建虚拟工作站 |
Cloud Run
您可以为 Cloud Run 实例配置 GPU。GPU 非常适合在 Cloud Run 上使用大语言模型运行 AI 推理工作负载。
在 Cloud Run 上，请参阅以下资源，了解如何在 GPU 上运行 AI 工作负载：