このページでは、Cloud Data Fusion でのパイプラインのロギングについて説明します。
Cloud Data Fusion は、データ パイプラインの実行ごとにログを生成します。これにより、データ パイプラインの実行をモニタリングし、問題をデバッグできます。パイプラインの実行が開始されると直ちに、ログを表示してログレベルでフィルタできます。
ログには、Cloud Data Fusion Studio の [プレビュー] ページと [パイプラインの詳細] ページからアクセスできます。パイプラインの進行状況をモニタリングするには、パイプラインの実行中に [ログ] をクリックします。
ログをレベルでフィルタする
パイプラインのログメッセージを表示するときに、タイプまたはログレベルでフィルタできます。
- エラー
- 警告
- 情報
- デバッグ
- トレース
ログレベルを設定するには、Cloud Data Fusion Studio の [プレビュー] ページまたは [パイプラインの詳細] ページに移動し、[ログ] > [レベル] をクリックします。ログに表示するメッセージの種類を選択します。
基本ログまたは詳細ログを表示する
パイプラインの実行ごとに、基本ログまたは高度なログを表示できます。基本ログには、パイプラインのステージに関するメッセージが含まれます。高度なログには、すべての基本ログ メッセージと、クラスタの状態と実行エンジンに関する情報が含まれます。
パイプラインのプレビューまたは実行中に高度なログを表示するには、Cloud Data Fusion Studio の [プレビュー] ページまたは [パイプラインの詳細] ページに移動し、[ログ] > [高度なログを表示] をクリックします。
基本ログに戻るには、[高度なログを非表示] をクリックします。
最新のログメッセージを表示する
パイプラインの実行で大量のメッセージが生成された場合は、ページの下部に移動して最新のメッセージを確認できます。Cloud Data Fusion Studio の [プレビュー] ページまたは [パイプラインの詳細] ページに移動し、[ログ] > [スクロール] をクリックします。
ログのダウンロード
問題のデバッグを行うには、パイプラインの実行が完了した後に、高度なログとスタック トレース メッセージがすべて含まれるログファイルをダウンロードします。
ログファイルをダウンロードするには、Cloud Data Fusion Studio の [プレビュー] ページまたは [パイプラインの詳細] ページに移動し、[ログ] > [すべてダウンロード] をクリックします。
未加工のログを新しいブラウザタブで書式なしテキストとして表示するには、[すべてダウンロード] > [未加工のログを表示] をクリックします。
次のステップ
- パイプラインのオーケストレーションの詳細を確認する。