Dataproc 无服务器组件

通过 Dataproc 无服务器组件，您可以从 Vertex AI Pipelines 中的流水线运行 Apache Spark 批处理工作负载。 Dataproc 无服务器在代管式计算基础架构上运行批处理工作负载，根据需要自动扩缩资源。

详细了解 Dataproc 无服务器和支持的 Spark 工作负载。

在 Dataproc 无服务器中，Batch 资源表示批处理工作负载。Google Cloud 流水线组件 SDK 包含以下运算符，用于创建 Batch 资源并监控其执行：

• DataprocPySparkBatchOp
• DataprocSparkBatchOp
• DataprocSparkRBatchOp
• DataprocSparkSqlBatchOp

API 参考文档

• 如需查看组件参考文档，请参阅 适用于 Dataproc 无服务器组件的 Google Cloud 流水线组件 SDK 参考文档。

• 如需查看 Dataproc 无服务器资源参考文档，请参阅以下 API 参考文档页面：

  • Batch 资源

教程

• Dataproc 无服务器流水线组件使用入门

版本历史记录和版本说明

如需详细了解 Google Cloud 流水线组件 SDK 的版本历史记录和更改，请参阅 Google Cloud 流水线组件 SDK 版本说明。

技术支持联系人

如果您有任何疑问，请联系 kfp-dataproc-components@google.com。