Dataflow ジョブ モニタリング インターフェースを使用する

Dataflow を使用してパイプラインを実行する場合は、Dataflow のモニタリング インターフェースを使用して、そのジョブや他のジョブを表示できます。このモニタリング インターフェースを使用すると、Dataflow ジョブを表示して操作できます。

Dataflow モニタリング インターフェースには、Google Cloud consoleからアクセスできます。

モニタリング インターフェースを使用して実行できるタスクは次のとおりです。

  • 実行中、完了済み、失敗したジョブのリストを表示します。
  • ジョブのステージと各ステージの進行状況をグラフで表示する
  • データの更新速度、リソース使用率、I/O リクエストなどのジョブ指標のグラフを表示します。
  • ジョブの見積もり料金をモニタリングします。
  • パイプライン ログを表示します。
  • パイプラインの遅延を引き起こしている可能性のあるステップを特定します。
  • 参照元とシンクのレイテンシの原因を特定します。
  • パイプライン エラーを理解します。

Monitoring インターフェース コンポーネント

モニタリング インターフェースには、次のビジュアライザーとグラフが含まれています。

プロジェクト モニタリング ダッシュボード
プロジェクト レベルで Dataflow ジョブをモニタリングするダッシュボード。
ジョブリスト
実行中のすべての Dataflow ジョブと過去 30 日以内に実行されたすべてのジョブのリスト。ステータス、リージョン、経過時間などの情報も表示されます。
ジョブグラフ
パイプラインのグラフィック表現。ジョブグラフには、ジョブの概要、ジョブログ、パイプラインの各ステップに関する情報も表示されます。
実行の詳細
ジョブの実行ステージ、ストリーミング ジョブのデータの更新頻度、バッチジョブのワーカーの進捗状況が表示されます。
ジョブの指標
ジョブの期間中の指標を表示するグラフ。
推定料金
リソース使用率の指標に基づく Dataflow ジョブの推定料金。
推奨事項
ジョブのパフォーマンスの向上、コストの削減、エラーのトラブルシューティングに関する推奨事項。
自動スケーリング
ストリーミング ジョブの自動スケーリングの動作を把握するのに役立つ一連のグラフ。
パイプライン ログ
パイプラインと Dataflow サービスによって出力されたログ。
データ サンプリング
パイプラインの各ステップでのサンプリング データを観察できるツール。

次のステップ