Dataplex ログをモニタリングする

Dataplex ジョブログは、Cloud Logging で表示、検索、フィルタ、アーカイブできます。

費用については、Google Cloud Observability の料金をご覧ください。

ロギングの保持期間の詳細については、ログの保持期間をご覧ください。

すべてのログを無効にするか、Logging からログを除外するには、除外フィルタをご覧ください。

Logging から Cloud Storage、BigQuery、Pub/Sub にログを転送するには、ルーティングとストレージの概要をご覧ください。

Logging で Dataplex サービスログにアクセスする

Dataplex は、次のサービスログを Cloud Logging に公開します。

ログタイプ ログ名 logName クエリ ログの説明
データスキャンのイベントログ dataplex.googleapis.com/data_scan logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) ジョブの状態、結果、統計情報を示すデータスキャン ジョブのイベントログ
データ品質スキャンルールの結果ログ dataplex.googleapis.com/data_quality_scan_rule_result logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) データ品質ジョブのデータ品質スキャンルールの結果
検出ログ dataplex.googleapis.com/discovery logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) ゾーン内のアセットの検出の進行状況と更新情報
メタデータ ジョブのログ dataplex.googleapis.com/metadata_job logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) メタデータのインポート ジョブとメタデータのインポート ファイル内のインポート アイテムに関するログ
プロセスログ dataplex.googleapis.com/process logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) データ処理タスクの結果、ジョブを実行する

次のように置き換えます。

  • PROJECT_ID: オブジェクトの ID

Logging にアクセスするには、Google Cloud コンソールの ログ エクスプローラ、gcloud logging コマンド、または Logging API を使用します。

データスキャン イベントログをクエリする

Dataplex を使用してデータスキャンを作成して実行すると、その結果となるジョブのデータスキャン イベントログが Logging に生成されます。

Console

  1. Google Cloud コンソールで、[ログ エクスプローラ] ページに移動します。

    [ログ エクスプローラ] に移動

  2. [ログ エクスプローラ] ビューで、[クエリ] タブを見つけます。

  3. [リソース] メニューをクリックします。

  4. [Cloud Dataplex DataScan] を選択します。[適用] をクリックします。

  5. [ログ名] メニューをクリックします。

  6. [Search log names] フィールドに「dataplex.googleapis.com%2Fdata_scan」と入力します。[data_scan] を選択し、[適用] をクリックします。

  7. 省略可: ログクエリに次のフィルタを追加して、ログを特定のデータスキャン ID またはロケーションにフィルタリングします。

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

  8. [クエリを実行] をクリックします。

gcloud

データスキャン イベントログ エントリを読み取るには、次のクエリで gcloud logging read コマンドを使用します。

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

ログエントリを一覧表示するには、entries.list メソッドを使用します。

データ品質スキャンルールの結果ログをクエリする

Dataplex を使用してデータ品質スキャンを作成して実行すると、その結果となるジョブのデータ品質スキャンルールの結果ログが Logging に生成されます。

Console

  1. Google Cloud コンソールで、[ログ エクスプローラ] ページに移動します。

    [ログ エクスプローラ] に移動

  2. [ログ エクスプローラ] ビューで、[クエリ] タブを見つけます。

  3. [リソース] メニューをクリックします。

  4. [Cloud Dataplex DataScan] を選択します。[適用] をクリックします。

  5. [ログ名] メニューをクリックします。

  6. [Search log names] フィールドに「dataplex.googleapis.com%2Fdata_quality_scan_rule_result」と入力します。[data_quality_scan_rule_result] を選択し、[適用] をクリックします。

  7. 省略可: ログクエリに次のフィルタを追加して、ログを特定のデータスキャン ID またはロケーションにフィルタリングします。

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

  8. [クエリを実行] をクリックします。

gcloud

データ品質スキャンルールの結果ログエントリを読み取るには、次のクエリで gcloud logging read コマンドを使用します。

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

ログエントリを一覧表示するには、entries.list メソッドを使用します。

クエリ検出ログ

Dataplex を使用してアセット内のデータを検出すると、Logging に検出ログが生成されます。

Console

  1. Google Cloud コンソールで、[ログ エクスプローラ] ページに移動します。

    [ログ エクスプローラ] に移動

  2. [ログ エクスプローラ] ビューで、[クエリ] タブを見つけます。

  3. [リソース] メニューをクリックします。

  4. [Cloud Dataplex ゾーン] を選択します。[適用] をクリックします。

  5. [ログ名] メニューをクリックします。

  6. [Search log names] フィールドに「dataplex.googleapis.com%2Fdiscovery」と入力します。[discovery] を選択し、[適用] をクリックします。

  7. 省略可: ログクエリに次のフィルタを追加して、ログを特定のアセットにフィルタリングします。

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.zone_id="ZONE_ID"
jsonPayload.assetId="ASSET_ID"

  8. [クエリを実行] をクリックします。

gcloud

検出ログエントリを読み取るには、次のクエリで gcloud logging read コマンドを使用します。

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Zone" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.zone_id=ZONE_ID AND
    jsonPayload.assetId=ASSET_ID'
    --limit 10

REST

ログエントリを一覧表示するには、entries.list メソッドを使用します。

メタデータ ジョブログをクエリする

メタデータのインポート ジョブを実行すると、メタデータ ジョブログが Logging に生成されます。

Console

  1. Google Cloud コンソールで、[ログ エクスプローラ] ページに移動します。

    [ログ エクスプローラ] に移動

  2. [ログ エクスプローラ] ビューで、[クエリ] タブを見つけます。

  3. [リソース] メニューをクリックします。

  4. [Cloud Dataplex メタデータ ジョブ] を選択します。

  5. 省略可: 特定のロケーションまたはメタデータ ジョブ ID にログをフィルタするには、ロケーションまたはジョブ ID を選択します。

  6. [適用] をクリックします。

  7. [ログ名] メニューをクリックします。

  8. dataplex.googleapis.com%2Fmetadata_job と入力して、[metadata_job] を選択します。

  9. [適用] をクリックします。

gcloud

メタデータ ジョブのログエントリを読み取るには、次のクエリで gcloud logging read コマンドを使用します。

gcloud logging read \
    'resource.type="dataplex.googleapis.com/MetadataJob" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND
    resource.labels.location=LOCATION AND
    resource.labels.metadata_job_id=METADATA_JOB_ID
    --limit 10

REST

ログエントリを一覧表示するには、entries.list メソッドを使用します。

プロセスログをクエリする

Dataplex を使用してタスクをスケジューリングして実行すると、その結果となるジョブのプロセスログが Logging に生成されます。

Console

  1. Google Cloud コンソールで、[ログ エクスプローラ] ページに移動します。

    [ログ エクスプローラ] に移動

  2. [ログ エクスプローラ] ビューで、[クエリ] タブを見つけます。

  3. [リソース] メニューをクリックします。

  4. [Cloud Dataplex タスク] を選択します。[適用] をクリックします。

  5. [ログ名] メニューをクリックします。

  6. [Search log names] フィールドに「dataplex.googleapis.com%2Fprocess」と入力します。[プロセス] を選択し、[適用] をクリックします。

  7. 省略可: ログクエリに次のフィルタを追加して、ログを特定のタスクにフィルタリングします。

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.task_id="TASK_ID"

  8. [クエリを実行] をクリックします。

gcloud

プロセスログエントリを読み取るには、次のクエリで gcloud logging read コマンドを使用します。

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

REST

ログエントリを一覧表示するには、entries.list メソッドを使用します。

次のステップ