使用 Dataflow 作业监控界面

使用 Dataflow 运行流水线时，您可以通过 Dataflow 监控界面查看该作业和其他任何作业。通过此监控界面，您可以查看相关 Dataflow 作业并与之交互。

您可以在 Google Cloud 控制台中访问 Dataflow 监控界面。

您可以使用监控界面执行的任务包括：

  • 查看正在运行、已完成和失败的作业列表。
  • 以图形方式查看作业的各个阶段以及每个阶段的进度
  • 查看作业指标（例如数据新鲜度、资源利用率和 I/O 请求）的图表。
  • 监控作业的估算费用。
  • 查看流水线日志。
  • 确定哪些步骤可能会导致流水线延迟。
  • 确定来源和接收器中延迟时间的原因。
  • 了解流水线错误。

监控界面组件

监控界面包含以下可视化工具和图表：

项目监控信息中心
一个信息中心，用于在项目级层监控您的 Dataflow 作业。
作业列表
所有正在运行的 Dataflow 作业和过去 30 天内运行的所有作业的列表，以及其状态、区域、经过的时间和其他信息。
作业图
流水线的图形表示。作业图还提供了作业摘要、作业日志以及流水线中每个步骤的相关信息。
执行详情
显示作业的执行阶段、流式作业的最新数据，以及批量作业的各个工作器的进度。
作业指标
显示作业持续时间内的指标的图表。
估算的费用
Dataflow 作业的估算费用（基于资源使用指标）。
建议
有关提高作业性能、降低费用和排查错误的建议。
自动扩缩
一组图表，可帮助您了解流式传输作业的自动扩缩行为。
流水线日志
由流水线和 Dataflow 服务发出的日志。
数据抽样
一种工具，可让您在流水线的每个步骤中观察抽样数据。

后续步骤