Dataflow 作业列表

如需查看 Dataflow 作业列表，请前往 Google Cloud 控制台中的 Dataflow > 作业页面。

转到作业

此时系统将显示 Dataflow 作业及其状态的列表。

Dataflow 作业列表，其中包含处于正在运行、失败和成功状态的作业。
图 1：Google Cloud 控制台中的 Dataflow 作业列表，其中包含处于正在启动、失败和成功状态的作业。

作业可能具有以下状态：

  • —：监控界面尚未从 Dataflow 服务收到状态。
  • 正在运行：作业正在运行。
  • 正在启动...：作业已创建，但系统在启动前需要一些时间进行准备。
  • 已加入队列：一个 FlexRS 作业已加入队列，或者正在启动 Flex 模板作业（这可能需要几分钟时间）。
  • 正在取消…：正在取消作业。
  • 已取消：作业已取消。
  • 正在排空…：正在排空作业。
  • 已排空：作业已被排空。
  • 正在更新…：正在更新作业。
  • 已更新：作业已更新。
  • 成功：作业已成功完成。
  • 失败：作业未能完成。

访问作业可视化工具

如需访问用于监控作业的图表，请在 Dataflow 监控界面中点击作业名称。此时会显示作业详情页面，其中包含以下信息：

  • 作业图：流水线的直观展示
  • 执行详情：用于优化流水线性能的工具
  • 作业指标：关于作业运行情况的指标
  • 费用：关于作业估算费用的指标
  • 自动扩缩：与流处理作业自动扩缩事件相关的指标
  • “作业信息”面板：关于流水线的描述性信息
  • 作业日志：Dataflow 服务在作业级层生成的日志
  • 工作器日志：Dataflow 服务在工作器级层生成的日志
  • 诊断：显示沿所选时间轴发生的错误以及关于流水线的可能建议的表格
  • 数据抽样：可让您在流水线的每个步骤中观察数据的工具

在作业详情页面中，您可以使用作业图、执行详情、作业指标、费用和自动调节标签页来切换作业视图。

使用 Google Cloud CLI 列出作业

您还可以使用 Google Cloud CLI 获取 Dataflow 作业列表。

如需列出项目中的 Dataflow 作业，请使用 dataflow jobs list 命令：

gcloud dataflow jobs list

该命令会返回当前作业列表。以下是输出示例：

  ID                                        NAME                                    TYPE   CREATION_TIME        STATE   REGION
  2015-06-03_16_39_22-4020553808241078833   wordcount-janedoe-0603233849            Batch  2015-06-03 16:39:22  Done    us-central1
  2015-06-03_16_38_28-4363652261786938862   wordcount-johndoe-0603233820            Batch  2015-06-03 16:38:28  Done    us-central1
  2015-05-21_16_24_11-17823098268333533078  bigquerytornadoes-johndoe-0521232402    Batch  2015-05-21 16:24:11  Done    europe-west1
  2015-05-21_13_38_06-16409850040969261121  bigquerytornadoes-johndoe-0521203801    Batch  2015-05-21 13:38:06  Done    us-central1
  2015-05-21_13_17_18-18349574013243942260  bigquerytornadoes-johndoe-0521201710    Batch  2015-05-21 13:17:18  Done    europe-west1
  2015-05-21_12_49_37-9791290545307959963   wordcount-johndoe-0521194928            Batch  2015-05-21 12:49:37  Done    us-central1
  2015-05-20_15_54_51-15905022415025455887  wordcount-johndoe-0520225444            Batch  2015-05-20 15:54:51  Failed  us-central1
  2015-05-20_15_47_02-14774624590029708464  wordcount-johndoe-0520224637            Batch  2015-05-20 15:47:02  Done    us-central1

如需显示有关作业的更多信息，请使用 dataflow jobs describe 命令：

gcloud dataflow jobs describe JOB_ID

将 JOB_ID 替换为作业 ID。此命令的输出类似于以下内容：

createTime: '2015-02-09T19:39:41.140Z'
currentState: JOB_STATE_DONE
currentStateTime: '2015-02-09T19:56:39.510Z'
id: 2015-02-09_11_39_40-15635991037808002875
name: tfidf-bchambers-0209193926
projectId: google.com:clouddfe
type: JOB_TYPE_BATCH

如需将结果的格式设置为 JSON，请使用 --format=json 选项运行以下命令：

gcloud --format=json dataflow jobs describe JOB_ID