Cloud Logging でパイプライン ログを表示する

コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。

このページでは、Cloud Data Fusion インスタンスで Cloud Logging を有効にする方法と、パイプライン ログを表示する方法について説明します。

始める前に

Cloud Data Fusion インスタンスを作成する。 インスタンスの作成プロセスが完了するまで 30 分ほどかかります。

Cloud Logging を有効にする

Cloud Data Fusion パイプラインで Cloud Logging を使用するには、Cloud Data Fusion インスタンスを作成する際に Cloud Logging を有効にします。

1. Google Cloud コンソールで [インスタンス] ページを開きます。
2. [インスタンスを作成] をクリックします。
3. [詳細設定を表示] をクリックします。

4. [ロギングとモニタリング] で、[Stackdriver Logging サービスを有効にする] をクリックします。

   

インスタンスを作成した後に、Google Cloud コンソールで Cloud Logging を有効にすることはできません。その代わりに、次の gcloud CLI コマンドを実行します。

gcloud beta data-fusion instances update INSTANCE_NAME \
  --project=PROJECT_ID \
  --location=LOCATION \
  --enable_stackdriver_logging

ログを表示

Cloud Data Fusion パイプラインのすべての実行には、一意の RunID が割り当てられます。パイプラインをデプロイして実行した後、その RunID を調べます。次に、Logging で RunID を使用してパイプライン ログを表示します。

パイプラインの RunID を取得する

1. インスタンスに移動します:

   1. Google Cloud コンソールで、Cloud Data Fusion のページに移動します。

   2. Cloud Data Fusion Studio でインスタンスを開くには、[インスタンス]、[インスタンスを表示] の順にクリックします。

      [インスタンス] に移動

2. [Summary] > [Table] をクリックします。

3. コピーする RunId リンクをクリックします。

   

ログ エクスプローラでログを表示する

1. Google Cloud コンソールで、[Cloud Logging] > [ログ エクスプローラ] ページに移動します。

   [ログ エクスプローラ] に移動

2. フィルタ メニューで、[Cloud Dataproc Cluster] > [cdap-PIPELINE_NAME-YOUR_RUNID] を選択します。

   

省略可: ログをフィルタする

フィルタ メニューを使用してログをフィルタします。さまざまなログの重大度レベルや、datafusion-pipeline-logs などのコンポーネントでフィルタリングできます。

省略可: ログをダウンロードする

[ログのダウンロード] をクリックします。

詳細については、ログエントリのダウンロードに関する Cloud Logging のドキュメントをご覧ください。

次のステップ

• 監査ログを表示する方法を確認する。
• Cloud Data Fusion Pipeline Studio からパイプライン ログを表示する方法を学習する。