搭配 GPU 使用 Dataflow
Dataflow GPU 可直接為串流或批次資料處理管道帶來加速效益。使用 Dataflow 簡化將資料傳輸至 GPU 的程序,並充分運用資料區域性。同時享有全代管 Dataflow 系統的所有優點:主機佈建、自動調度資源、容錯等。
使用 GPU 執行 Dataflow 工作
請按照本教學課程的說明,瞭解如何建構自訂容器映像檔,並使用 GPU 執行 Dataflow 管道。
使用 GPU 執行簡易的 PyTorch pipeline
請按照本教學課程的指示,建構 PyTorch 管道並在 Dataflow 上執行,使用 GPU。
使用 NVIDIA L4 GPU 執行管道
L4 GPU 類型適合執行機器學習推論管道。
使用 GPU 執行簡單的 TensorFlow 管道
請按照本教學課程的說明,建構 TensorFlow 管道並在 Dataflow 上執行 (使用 GPU)。
資源
開發人員最佳做法
請參閱使用 GPU 建構管道的開發人員工作流程範例。
最適資源配置
使用適合批次作業的合適大小,自訂工作人員資源並降低成本。
排解使用 GPU 的工作問題
如果執行 Dataflow 作業時遇到 GPU 相關問題,請按照下列疑難排解步驟操作。