监控 Dataplex 通用目录日志

您可以在 Cloud Logging 中查看、搜索、过滤和归档 Dataplex Universal Catalog 作业日志。

如需了解费用，请参阅 Google Cloud Observability 价格。

如需详细了解日志保留，请参阅日志保留期限。

如需停用所有日志或从 Logging 中排除日志，请参阅排除项过滤条件。

如需将日志从 Logging 路由到 Cloud Storage、BigQuery 或 Pub/Sub，请参阅路由和存储概览。

在 Logging 中访问 Dataplex Universal Catalog 服务日志

Dataplex Universal Catalog 会将以下服务日志发布到 Cloud Logging。

日志类型 日志名称 logName 条查询 日志说明
数据扫描事件日志 dataplex.googleapis.com/data_scan logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) 数据扫描作业的事件日志，用于指示作业状态、结果和统计信息
数据质量扫描规则结果日志 dataplex.googleapis.com/data_quality_scan_rule_result logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) 数据质量作业中数据质量扫描规则的结果
发现日志 dataplex.googleapis.com/discovery logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) 地区中资产的发现进度和更新
元数据作业日志 dataplex.googleapis.com/metadata_job logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) 有关元数据导入作业和元数据导入文件中导入项的日志
进程日志 dataplex.googleapis.com/process logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) 由数据处理任务生成的作业运行

替换以下内容：

  • PROJECT_ID：您的项目的 ID

如需访问 Logging，您可以使用Google Cloud 控制台中的日志浏览器、gcloud logging 命令或 Logging API。

查询数据扫描事件日志

当您使用 Dataplex Universal Catalog 创建并运行数据扫描时，Logging 中会生成相应作业的数据扫描事件日志。

控制台

  1. 在 Google Cloud 控制台中，前往 Logs Explorer 页面。

    转到日志浏览器

  2. 在 Logs Explorer 视图中，找到查询标签页。

  3. 点击资源菜单。

  4. 选择 Cloud Dataplex DataScan。点击应用。

  5. 点击日志名称菜单。

  6. 在搜索日志名称字段中，输入 dataplex.googleapis.com%2Fdata_scan。选择 data_scan，然后点击应用。

  7. 可选：在日志查询中添加以下过滤条件，将日志过滤到特定数据扫描 ID 或位置：

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

  8. 点击运行查询。

gcloud

如需读取数据扫描事件日志条目，请使用 gcloud logging read 命令和以下查询：

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

如需列出日志条目，请使用 entries.list 方法。

查询数据质量扫描规则结果日志

当您使用 Dataplex Universal Catalog 创建并运行数据质量扫描时，日志记录中会生成相应作业的数据质量扫描规则结果日志。

控制台

  1. 在 Google Cloud 控制台中，前往 Logs Explorer 页面。

    转到日志浏览器

  2. 在 Logs Explorer 视图中，找到查询标签页。

  3. 点击资源菜单。

  4. 选择 Cloud Dataplex DataScan。点击应用。

  5. 点击日志名称菜单。

  6. 在搜索日志名称字段中，输入 dataplex.googleapis.com%2Fdata_quality_scan_rule_result。选择 data_quality_scan_rule_result，然后点击应用。

  7. 可选：在日志查询中添加以下过滤条件，将日志过滤到特定数据扫描 ID 或位置：

    resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"

  8. 点击运行查询。

gcloud

如需读取数据质量扫描规则结果日志条目，请使用 gcloud logging read 命令和以下查询：

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

如需列出日志条目，请使用 entries.list 方法。

查询发现日志

当您使用 Dataplex Universal Catalog 发现资产中的数据时，Logging 会生成发现日志。

控制台

  1. 在 Google Cloud 控制台中，前往 Logs Explorer 页面。

    转到日志浏览器

  2. 在 Logs Explorer 视图中，找到查询标签页。

  3. 点击资源菜单。

  4. 选择 Cloud Dataplex 可用区。点击应用。

  5. 点击日志名称菜单。

  6. 在搜索日志名称字段中，输入 dataplex.googleapis.com%2Fdiscovery。选择 discovery，然后点击应用。

  7. 可选：在日志查询中添加以下过滤条件，将日志过滤到特定资产：

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.zone_id="ZONE_ID"
jsonPayload.assetId="ASSET_ID"

  8. 点击运行查询。

gcloud

如需读取发现日志条目，请使用 gcloud logging read 命令和以下查询：

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Zone" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.zone_id=ZONE_ID AND
    jsonPayload.assetId=ASSET_ID'
    --limit 10

REST

如需列出日志条目，请使用 entries.list 方法。

查询元数据作业日志

当您运行元数据导入作业时，Logging 中会生成元数据作业日志。

控制台

  1. 在 Google Cloud 控制台中，前往 Logs Explorer 页面。

    转到日志浏览器

  2. 在 Logs Explorer 视图中，找到查询标签页。

  3. 点击资源菜单。

  4. 选择 Cloud Dataplex Metadata Job。

  5. 可选：如需将日志过滤到特定位置或元数据作业 ID，请选择相应的位置或作业 ID。

  6. 点击应用。

  7. 点击日志名称菜单。

  8. 输入 dataplex.googleapis.com%2Fmetadata_job，然后选择 metadata_job。

  9. 点击应用。

gcloud

如需读取元数据作业日志条目，请使用 gcloud logging read 命令，并搭配以下查询：

gcloud logging read \
    'resource.type="dataplex.googleapis.com/MetadataJob" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND
    resource.labels.location=LOCATION AND
    resource.labels.metadata_job_id=METADATA_JOB_ID
    --limit 10

REST

如需列出日志条目，请使用 entries.list 方法。

查询进程日志

当您使用 Dataplex Universal Catalog 安排和运行任务时，Logging 会为生成的作业生成进程日志。

控制台

  1. 在 Google Cloud 控制台中，前往 Logs Explorer 页面。

    转到日志浏览器

  2. 在 Logs Explorer 视图中，找到查询标签页。

  3. 点击资源菜单。

  4. 选择 Cloud Dataplex 任务。点击应用。

  5. 点击日志名称菜单。

  6. 在搜索日志名称字段中，输入 dataplex.googleapis.com%2Fprocess。选择进程，然后点击应用。

  7. 可选：在日志查询中添加以下过滤条件，将日志过滤到特定任务：

    resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.task_id="TASK_ID"

  8. 点击运行查询。

gcloud

如需读取进程日志条目，请使用 gcloud logging read 命令和以下查询：

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

REST

如需列出日志条目，请使用 entries.list 方法。

后续步骤