Dataproc 指標

Cloud Monitoring 可讓您掌握雲端應用程式的效能、運作時間和整體健康狀態。Google Cloud Observability 會收集和擷取 Dataproc 叢集的指標、事件和中繼資料，包括每個叢集的 HDFS、YARN、工作和作業指標，透過資訊主頁和圖表產生深入分析資料 (請參閱「Cloud Monitoring Dataproc 指標」)。

• 請參閱 Cloud Monitoring 定價瞭解費用。

• 如要瞭解指標資料保留相關資訊，請參閱「Monitoring 配額與限制」。

Dataproc 資源指標收集

Cloud Monitoring 會收集下列 Dataproc 資源相關指標：

• Cloud Dataproc 叢集
• Cloud Dataproc 工作
• Cloud Dataproc 批次
• Cloud Dataproc 工作階段

Dataproc 資源指標會以以下格式收集：dataproc.googleapis.com/RESOURCE/METRIC，並包含多個 OSS 指標的集合。

查看 Dataproc 資源指標

您可以在 Metrics Explorer 中選取並查看 Dataproc 資源指標，方法是在 Filter by resource or metric name 方塊中輸入「dataproc」，然後選取「Cloud Dataproc」資源。

自訂指標收集

建立 Dataproc 叢集時，您可以啟用一或多個自訂指標來源的指標收集功能。除非您指定要從指標來源收集的指標 (使用者指定的指標稱為指標「覆寫」)，否則系統會從每個已啟用的指標來源收集一組標準指標。

系統會以以下格式收集自訂 OSS 指標： custom.googleapis.com/OSS_COMPONENT/METRIC

自訂 OSS 指標範例：

custom.googleapis.com/spark/driver/DAGScheduler/job/allJobs
custom.googleapis.com/hiveserver2/memory/MaxNonHeapMemory

啟用自訂指標收集功能

您可以使用 gcloud CLI 或 Dataproc API，啟用從一個或多個指標來源收集自訂指標的功能。

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC_SOURCE(s) \
    ... other flags

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC_SOURCE(s) \
    --metric-overrides=LIST_OF_METRIC_OVERRIDES \
    ... other flags

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC-SOURCE(s) \
    --metric-overrides-file=METRIC_OVERRIDES_FILENAME \
    ... other flags

查看自訂指標

您可以選取 VM Instance 資源，然後選取 Custom metrics，在 Metrics Explorer 中選取及查看 Dataproc 資源指標。

自訂指標

您可以啟用 Dataproc 收集下表所列的自訂指標。

• 如果您啟用相關聯的指標來源，Dataproc 會在收集指標時標示「y」。

• 如果您覆寫指標來源的標準啟用指標集合收集作業 (請參閱「啟用自訂指標收集」)，則可為指標來源的任何指標 (以及所有Spark 指標) 啟用收集功能。

• Dataproc 會使用監控代理程式收集指標。啟用任何指標來源後，系統就會收集代理程式指標。這些指標不會向使用者收費，而是由 Dataproc 用於診斷指標收集問題。

Hadoop 指標

HDFS 指標

YARN 指標

Spark 指標

Spark 驅動程式指標

Spark 執行器指標

Flink 指標

Spark 記錄伺服器指標

Dataproc 會收集下列 Spark 歷史記錄服務 JVM 記憶體指標：

HiveServer 2 指標

Hive 中繼存放區指標

Hive 中繼存放區指標評估

Dataproc 監控代理程式指標

設定 --metric-sources=monitoring-agent-defaults 時，Dataproc 會收集下列 Dataproc 監控代理程式指標。這些指標會使用 agent.googleapis.com 前置字串發布。

CPU
agent.googleapis.com/cpu/load_15m
agent.googleapis.com/cpu/load_1m
agent.googleapis.com/cpu/load_5m
agent.googleapis.com/cpu/usage_time*
agent.googleapis.com/cpu/utilization*

磁碟
agent.googleapis.com/disk/bytes_used
agent.googleapis.com/disk/io_time
agent.googleapis.com/disk/merged_operations
agent.googleapis.com/disk/operation_count
agent.googleapis.com/disk/operation_time
agent.googleapis.com/disk/pending_operations
agent.googleapis.com/disk/percent_used
agent.googleapis.com/disk/read_bytes_count

Swap
agent.googleapis.com/swap/bytes_used
agent.googleapis.com/swap/io
agent.googleapis.com/swap/percent_used

記憶體
agent.googleapis.com/memory/bytes_used
agent.googleapis.com/memory/percent_used

程序 - 部分屬性會遵循獨特的配額政策。
agent.googleapis.com/processes/count_by_state
agent.googleapis.com/processes/cpu_time
agent.googleapis.com/processes/disk/read_bytes_count
agent.googleapis.com/processes/disk/write_bytes_count
agent.googleapis.com/processes/fork_count
agent.googleapis.com/processes/rss_usage
agent.googleapis.com/processes/vm_usage

介面
agent.googleapis.com/interface/errors
agent.googleapis.com/interface/packets
agent.googleapis.com/interface/traffic

網路
agent.googleapis.com/network/tcp_connections

建構 Monitoring 資訊主頁

您可以建構 Monitoring 資訊主頁，顯示所選 Dataproc 指標的圖表。

1. 在 Monitoring 的「Dashboards Overview」頁面中選取「+ Create Dashboard」。為資訊主頁命名，然後按一下右上方選單中的「新增圖表」，開啟「新增圖表」視窗。選取「Cloud Dataproc Cluster」做為資源類型。選取一或多個指標及圖表屬性。然後儲存圖表。

   

2. 您可以在資訊主頁中新增其他圖表。儲存資訊主頁後，標題會顯示在 Monitoring 的「Dashboards Overview」頁面中。您可以在資訊主頁顯示頁面中查看、更新及刪除資訊主頁圖表。

   

後續步驟

• 請參閱 Cloud Monitoring 說明文件
• 瞭解如何建立 Dataproc 指標警示