Dataproc Serverless 元件

您可以使用 Dataproc Serverless 元件，從 Vertex AI Pipelines 內的管道執行 Apache Spark 批次工作負載。Dataproc Serverless 會在代管運算基礎架構中執行批次工作負載，並視需要自動調度資源。

進一步瞭解 Dataproc Serverless 和支援的 Spark 工作負載。

在 Dataproc Serverless 中，Batch 資源代表批次工作負載。 Google Cloud SDK 包含下列運算子，可建立 Batch 資源並監控執行情況：

• DataprocPySparkBatchOp
• DataprocSparkBatchOp
• DataprocSparkRBatchOp
• DataprocSparkSqlBatchOp

API 參考資料

• 如需元件參考資料，請參閱 Google Cloud Dataproc 無伺服器元件的 SDK 參考資料。

• 如需 Dataproc Serverless 資源參考資料，請參閱下列 API 參考頁面：

  • Batch 資源

教學課程

• 開始使用 Dataproc Serverless 管道元件

版本記錄和版本資訊

如要進一步瞭解版本記錄和 Google Cloud Pipeline Components SDK 的變更，請參閱 Google Cloud Pipeline Components SDK 版本資訊。

技術支援聯絡人

如有任何問題，請洽詢 kfp-dataproc-components@google.com。