KubernetesExecutor タスクのトラブルシューティング

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

このページでは、KubernetesExecutor によって実行されるタスクに関する問題のトラブルシューティング方法と、一般的な問題の解決策について説明します。

KubernetesExecutor のトラブルシューティングの一般的なアプローチ

KubernetesExecutor で実行されたタスクに関する問題のトラブルシューティングを行うには、次の操作を順番に行います。

  1. DAG UI または Airflow UI でタスクのログを確認します。

  2. Google Cloud コンソールでスケジューラ ログを確認します。

    1. Google Cloud Console で [環境] ページに移動します。

      [環境] に移動

    2. 環境のリストで、ご利用の環境の名前をクリックします。[環境の詳細] ページが開きます。

    3. [ログ] タブに移動し、[Airflow ログ] > [スケジューラ] セクションを確認します。

    4. 特定の期間について、タスクを実行していた KubernetesExecutor ワーカー Pod を調べます。Pod が存在しなくなった場合は、この手順をスキップします。Pod の名前には airflow-k8s-worker 接頭辞と DAG またはタスク名が含まれています。タスクの失敗やタスクのスケジュール設定不可など、報告されている問題がないか確認します。

KubernetesExecutor の一般的なトラブルシューティング シナリオ

このセクションでは、KubernetesExecutor で発生する可能性のある一般的なトラブルシューティングのシナリオを一覧表示します。

タスクが Running 状態になり、実行中に失敗します。

症状:

  • タスクのログが、Airflow UI と [ワーカー] セクションの [ログ] タブにある。

解決方法: タスクログに問題が表示されます。

タスク インスタンスが queued 状態になり、しばらくすると UP_FOR_RETRY または FAILED としてマークされます。

症状:

  • Airflow UI と [ワーカー] セクションの [ログ] タブにタスクのログがない。
  • [スケジューラ] セクションの [ログ] タブに、タスクが UP_FOR_RETRY または FAILED とマークされているというログがある。
  • Pod の名前の中に DAG/タスクの名前を持つ airflow-k8s-worker-*.* Pod が Failed / Pending 状態であるか、存在しない。

解決方法:

  1. スケジューラのログで問題の詳細を確認します。

考えられる原因:

  • スケジューラ ログに Adopted tasks were still pending after... メッセージの後にタスク インスタンスが出力されている場合は、環境で CeleryKubernetesExecutor が有効になっていることを確認します。

タスク インスタンスが Queued 状態になり、すぐに UP_FOR_RETRY または FAILED としてマークされます。

症状:

  • Airflow UI と [ワーカー] セクションの [ログ] タブにタスクのログがない。
  • [Scheduler] セクションの [Logs] タブにあるスケジューラ ログに、Pod creation failed with reason ... Failing task メッセージと、タスクが UP_FOR_RETRY または FAILED としてマークされているというメッセージが表示される。

解決方法:

  • スケジューラのログで、正確なレスポンスと失敗の理由を確認します。

考えられる原因:

エラー メッセージが quantities must match the regular expression ... の場合、タスクワーカー Pod の k8s リソース（リクエスト/上限）に設定されたカスタム値が原因である可能性が高いです。

次のステップ