本頁提供 GPU 如何搭配 Dataflow 運作的背景資訊,包括先決條件和支援的 GPU 類型。
在 Dataflow 工作中使用 GPU,可加速部分資料處理工作。GPU 執行特定運算的速度比 CPU 快。這些運算通常是數值或線性代數,常用於圖像處理和機器學習用途。效能提升幅度取決於用途、運算類型和處理的資料量。
在 Dataflow 中使用 GPU 的先決條件
- 如要在 Dataflow 工作中使用 GPU,必須使用 Runner v2。
- Dataflow 會在 Docker 容器內的工作站 VM 中執行使用者程式碼。
這些工作站 VM 會執行 Container-Optimized OS。
如要讓 Dataflow 工作使用 GPU,必須符合下列先決條件:
- GPU 驅動程式會安裝在工作站 VM 上,Docker 容器可存取這些驅動程式。詳情請參閱「安裝 GPU 驅動程式」。
- 自訂容器映像檔中已安裝管道所需的 GPU 程式庫,例如 NVIDIA CUDA-X 程式庫或 NVIDIA CUDA Toolkit。詳情請參閱「設定容器映像檔」。
- 由於 GPU 容器通常很大,為避免磁碟空間不足,請將預設開機磁碟大小增加至 50 GB 以上。
定價
使用 GPU 的工作會產生費用,詳情請參閱 Dataflow價格頁面。
可用性
Dataflow 支援下列 GPU 類型:
GPU 類型 | worker_accelerator 字串 |
---|---|
NVIDIA® L4 | nvidia-l4 |
NVIDIA® A100 40 GB | nvidia-tesla-a100 |
NVIDIA® A100 80 GB | nvidia-a100-80gb |
NVIDIA® Tesla® T4 | nvidia-tesla-t4 |
NVIDIA® Tesla® P4 | nvidia-tesla-p4 |
NVIDIA® Tesla® V100 | nvidia-tesla-v100 |
NVIDIA® Tesla® P100 | nvidia-tesla-p100 |
如要進一步瞭解各 GPU 類型,包括效能資料,請參閱 Compute Engine GPU 平台。
如要瞭解 GPU 適用的區域和可用區,請參閱 Compute Engine 說明文件中的「GPU regions and zones availability」。
建議的工作負載
下表針對不同工作負載,提供建議使用的 GPU 類型。下表中的範例僅供參考,您必須在自己的環境中進行測試,才能判斷適合工作負載的 GPU 類型。
如要進一步瞭解不同 GPU 型號的記憶體大小、功能可用性,以及理想的工作負載類型,請參閱 GPU 平台頁面的一般比較圖表。
工作負載 | A100 | L4 | T4 |
---|---|---|---|
模型微調 | 建議 | ||
大型模型推論 | 建議 | 建議 | |
中型模型推論 | 建議 | 建議 | |
小型模型推論 | 建議 | 建議 |
後續步驟
- 請參閱開發人員工作流程範例,瞭解如何建構使用 GPU 的管道。
- 瞭解如何在 Dataflow 上執行 Apache Beam 管道並使用 GPU。
- 逐步完成「使用 GPU 處理 Landsat 衛星影像」教學課程。