Dataproc 指标

Cloud Monitoring 可帮助您了解云应用的性能、正常运行时间和整体运行状况。Google Cloud Observability 会从 Dataproc 集群收集并提取指标、事件和元数据（包括每个集群的 HDFS、YARN、作业和操作指标），以通过信息中心和图表生成数据分析（请参阅 Cloud Monitoring Dataproc 指标）。

• 如需了解费用，请参阅 Cloud Monitoring 价格。

• 如需了解指标数据保留，请参阅 Monitoring 配额和上限。

Dataproc 资源指标收集

Cloud Monitoring 会收集与以下 Dataproc 资源相关的指标：

• Cloud Dataproc 集群
• Cloud Dataproc 作业
• Cloud Dataproc 批量
• Cloud Dataproc 会话

Dataproc 资源指标采用以下格式收集：dataproc.googleapis.com/RESOURCE/METRIC，并包括收集多个 OSS 指标。

查看 Dataproc 资源指标

您可以在 Metrics Explorer 中选择和查看 Dataproc 资源指标，具体方法是：在 Filter by resource or metric name 框中输入“dataproc”，然后选择“Cloud Dataproc”资源。

自定义指标收集

创建 Dataproc 集群时，您可以启用从一个或多个自定义指标来源收集指标的功能。除非您指定要从指标源收集的指标（用户指定的指标称为指标“替换项”），否则系统会从每个已启用的指标源收集一组标准指标。

系统会采用以下格式收集自定义 OSS 指标：custom.googleapis.com/OSS_COMPONENT/METRIC

自定义 OSS 指标示例：

custom.googleapis.com/spark/driver/DAGScheduler/job/allJobs
custom.googleapis.com/hiveserver2/memory/MaxNonHeapMemory

启用自定义指标收集

您可以使用 gcloud CLI 或 Dataproc API 从一个或多个指标来源收集自定义指标。

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC_SOURCE(s) \
    ... other flags

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC_SOURCE(s) \
    --metric-overrides=LIST_OF_METRIC_OVERRIDES \
    ... other flags

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC-SOURCE(s) \
    --metric-overrides-file=METRIC_OVERRIDES_FILENAME \
    ... other flags

查看自定义指标

您可以在 Metrics Explorer 中选择和查看 Dataproc 资源指标，具体方法是选择 VM Instance 资源，然后选择 Custom metrics。

自定义指标

您可以让 Dataproc 收集下表中列出的自定义指标。

• 如果在您启用关联的指标来源后，Dataproc 收集了指标，已启用的指标列会被标记为“y”。

• 如果您替换指标源的标准启用指标集的收集，则可以为指标源列出的任何指标以及所有 Spark 指标启用收集功能（请参阅启用自定义指标收集）。

• Dataproc 使用监控代理收集指标。启用任何指标源都会启用代理指标的收集。系统不会向用户收取这些指标的费用；Dataproc 会使用这些指标来诊断指标收集问题。

Hadoop 指标

HDFS 指标

YARN 指标

Spark 指标

Spark 驱动程序指标

Spark 执行器指标

Flink 指标

Spark 历史记录服务器指标

Dataproc 会收集以下 Spark 历史记录服务 JVM 内存指标：

HiveServer 2 指标

Hive Metastore 指标

Hive Metastore 指标衡量

Dataproc 监控代理指标

当您设置 --metric-sources=monitoring-agent-defaults 时，Dataproc 会收集以下 Dataproc 监控代理指标。这些指标发布时带有 agent.googleapis.com 前缀。

CPU
agent.googleapis.com/cpu/load_15m
agent.googleapis.com/cpu/load_1m
agent.googleapis.com/cpu/load_5m
agent.googleapis.com/cpu/usage_time*
agent.googleapis.com/cpu/utilization*

磁盘
agent.googleapis.com/disk/bytes_used
agent.googleapis.com/disk/io_time
agent.googleapis.com/disk/merged_operations
agent.googleapis.com/disk/operation_count
agent.googleapis.com/disk/operation_time
agent.googleapis.com/disk/pending_operations
agent.googleapis.com/disk/percent_used
agent.googleapis.com/disk/read_bytes_count

交换
agent.googleapis.com/swap/bytes_used
agent.googleapis.com/swap/io
agent.googleapis.com/swap/percent_used

内存
agent.googleapis.com/memory/bytes_used
agent.googleapis.com/memory/percent_used

进程 -（对于少数属性，遵循略有不同的配额政策）
agent.googleapis.com/processes/count_by_state
agent.googleapis.com/processes/cpu_time
agent.googleapis.com/processes/disk/read_bytes_count
agent.googleapis.com/processes/disk/write_bytes_count
agent.googleapis.com/processes/fork_count
agent.googleapis.com/processes/rss_usage
agent.googleapis.com/processes/vm_usage

接口
agent.googleapis.com/interface/errors
agent.googleapis.com/interface/packets
agent.googleapis.com/interface/traffic

网络
agent.googleapis.com/network/tcp_connections

构建 Monitoring 信息中心

您可以构建一个 Monitoring 信息中心，用于显示选定 Dataproc 指标的图表。

1. 从 Monitoring Dashboards Overview 页面中选择 + CREATE DASHBOARD。为信息中心提供一个名称，然后点击右上方菜单中的 Add Chart 以打开 Add Chart 窗口。选择“Cloud Dataproc Cluster”作为资源类型。 选择一个或多个指标以及指标和图表属性。然后保存该图表。

   

2. 您可以将其他图表添加到信息中心。保存信息中心后，其标题会显示在 Monitoring Dashboards Overview 页面中。您可以在信息中心显示页面中查看、更新和删除信息中心图表。

   

后续步骤

• 请参阅 Cloud Monitoring 文档
• 了解如何创建 Dataproc 指标提醒