Cloud Logging

您可以在 Cloud Logging 中查看、搜索、过滤和归档 Dataproc Metastore 作业日志。

访问 Logging 中的作业日志

运行 Dataproc Metastore 时,Hive Metastore 进程输出会流式传输到 Google Cloud 控制台。

您可以使用 Logging 控制台gcloud logging 命令或 Logging API 来访问 Logging。

控制台

  1. 在 Google Cloud 控制台中,前往 Cloud Logging > Logs(日志浏览器)页面:

    转到“日志浏览器”页面

  2. 选择现有的 Dataproc Metastore Google Cloud 项目。

  3. 资源菜单下,选择 Dataproc Metastore Service

  4. 所有日志菜单下,选择您要查看的日志类型。

gcloud

Google Cloud CLI 有一组 gcloud logging 命令,用于为 Cloud Logging API 提供命令行界面。如需读取您的日志条目,请运行以下命令:

gcloud logging read \
    'resource.type="metastore.googleapis.com/Service"
    resource.labels.location=LOCATION
    resource.labels.service_id=SERVICE_ID'

REST

按照 Logging API 说明,使用 API Explorer 列出日志条目 (entries.list)。

Logging 中的 Dataproc Metastore 服务日志

Dataproc Metastore 会将请求和系统日志导出到 Cloud Logging。

日志类型 日志名称 logName 查询
该角色可以请求日志 metastore.googleapis.com/requests logName=(projects/$PROJECT_ID/logs/metastore.googleapis.com%2Frequests)
系统日志 metastore.googleapis.com/system logName=(projects/$PROJECT_ID/logs/metastore.googleapis.com%2Fsystem)

后续步骤