Métricas de Dataproc

Cloud Monitoring proporciona visibilidad del rendimiento, del tiempo de actividad y del estado general de las aplicaciones basadas en la nube. Google Cloud Observability recopila y transfiere métricas, eventos y metadatos de los clústeres de Dataproc, incluidas las métricas de HDFS, YARN, trabajo y operaciones por clúster, para generar estadísticas mediante paneles y gráficos (consulta Métricas de Dataproc para Cloud Monitoring).

• Consulta los precios de Cloud Monitoring para comprender tus costos.

• Consulta Cuotas y límites de Monitoring para obtener información sobre la retención de los datos de métricas.

Recopilación de métricas de recursos de Dataproc

Cloud Monitoring recopila métricas relacionadas con los siguientes recursos de Dataproc:

• Clúster de Cloud Dataproc
• Trabajo de Cloud Dataproc (Cloud Dataproc Job)
• Lote de Cloud Dataproc
• Sesión de Cloud Dataproc

Las métricas de recursos de Dataproc se recopilan en el siguiente formato: dataproc.googleapis.com/RESOURCE/METRIC, y abarcan la recopilación de varias métricas de OSS.

Consulta las métricas de recursos de Dataproc

Para seleccionar y ver las métricas de recursos de Dataproc en el Explorador de métricas, escribe "dataproc" en el cuadro Filter by resource or metric name y, luego, selecciona un recurso de "Cloud Dataproc".

Recopilación de métricas personalizadas

Cuando creas un clúster de Dataproc, puedes habilitar la recopilación de métricas de una o más fuentes de métricas personalizadas. Se recopila un conjunto estándar de métricas de cada fuente de métricas habilitada, a menos que especifiques las métricas que se recopilarán de una fuente de métricas (las métricas especificadas por el usuario se denominan "anulaciones" de métricas).

Las métricas personalizadas de OSS se recopilan en el siguiente formato: custom.googleapis.com/OSS_COMPONENT/METRIC

Ejemplos de métricas personalizadas de OSS:

custom.googleapis.com/spark/driver/DAGScheduler/job/allJobs
custom.googleapis.com/hiveserver2/memory/MaxNonHeapMemory

Habilita la recopilación de métricas personalizadas

Puedes usar gcloud CLI o la API de Dataproc para habilitar la recopilación de métricas personalizadas desde una o más fuentes de métricas.

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC_SOURCE(s) \
    ... other flags

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC_SOURCE(s) \
    --metric-overrides=LIST_OF_METRIC_OVERRIDES \
    ... other flags

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC-SOURCE(s) \
    --metric-overrides-file=METRIC_OVERRIDES_FILENAME \
    ... other flags

Cómo ver métricas personalizadas

Para seleccionar y ver las métricas de recursos de Dataproc en el Explorador de métricas, selecciona el recurso VM Instance y, luego, Custom metrics.

Métricas personalizadas

Puedes habilitar Dataproc para que recopile las métricas personalizadas que se indican en las siguientes tablas.

• La columna Métricas habilitadas se marca con "y" si Dataproc recopila la métrica cuando habilitas la fuente de métricas asociada.

• Cualquiera de las métricas enumeradas para una fuente de métricas y todas las métricas de Spark se pueden habilitar para la recopilación si anulas la recopilación del conjunto estándar de métricas habilitadas para la fuente de métricas (consulta Habilita la recopilación de métricas personalizadas).

• Dataproc usa el agente de supervisión para recopilar métricas. Si habilitas cualquier fuente de métricas, se habilita la recopilación de métricas del agente. Estas métricas no se facturan a los usuarios; Dataproc las usa para diagnosticar problemas de recopilación de métricas.

Métricas de Hadoop

Métricas de HDFS

Métricas de YARN

Métricas de Spark

Métricas del controlador de Spark

Métricas del ejecutor de Spark

Métricas de Flink

Métricas del servidor de historial de Spark

Dataproc recopila las siguientes métricas de memoria de JVM del servicio de historial de Spark:

Métricas de HiveServer 2

Métricas de Hive Metastore

Medidas de métricas de Hive Metastore

Métricas del agente de supervisión de Dataproc

Dataproc recopila las siguientes métricas del agente de supervisión de Dataproc cuando configuras --metric-sources=monitoring-agent-defaults. Estas métricas se publican con el prefijo agent.googleapis.com.

CPU
agent.googleapis.com/cpu/load_15m
agent.googleapis.com/cpu/load_1m
agent.googleapis.com/cpu/load_5m
agent.googleapis.com/cpu/usage_time*
agent.googleapis.com/cpu/utilization*

Disco
agent.googleapis.com/disk/bytes_used
agent.googleapis.com/disk/io_time
agent.googleapis.com/disk/merged_operations
agent.googleapis.com/disk/operation_count
agent.googleapis.com/disk/operation_time
agent.googleapis.com/disk/pending_operations
agent.googleapis.com/disk/percent_used
agent.googleapis.com/disk/read_bytes_count

Intercambio
agent.googleapis.com/swap/bytes_used
agent.googleapis.com/swap/io
agent.googleapis.com/swap/percent_used

Memoria
agent.googleapis.com/memory/bytes_used
agent.googleapis.com/memory/percent_used

Procesos: (sigue una política de cuota ligeramente diferente para algunos atributos)
agent.googleapis.com/processes/count_by_state
agent.googleapis.com/processes/cpu_time
agent.googleapis.com/processes/disk/read_bytes_count
agent.googleapis.com/processes/disk/write_bytes_count
agent.googleapis.com/processes/fork_count
agent.googleapis.com/processes/rss_usage
agent.googleapis.com/processes/vm_usage

Interfaz
agent.googleapis.com/interface/errors
agent.googleapis.com/interface/packets
agent.googleapis.com/interface/traffic

Red
agent.googleapis.com/network/tcp_connections

Compila un panel de Monitoring

Puedes compilar un panel de Monitoring que muestre gráficos de métricas seleccionadas de Dataproc.

1. Selecciona + CREAR PANEL en la página Descripción general de los paneles de Monitoring. Ingresa un nombre para el panel y, luego, haz clic en Agregar gráfico en el menú superior derecho para abrir la ventana Agregar gráfico. Selecciona "Cloud Dataproc Cluster" (clúster de Cloud Dataproc) como el tipo de recurso. Selecciona una o varias métricas y propiedades de estas y de gráficos. Luego, guarda el gráfico.

   

2. Puedes agregar gráficos adicionales a tu panel. Después de guardar el panel, su título aparecerá en la página Descripción general de los paneles de Monitoring. Los gráficos de paneles pueden verse, actualizarse y borrarse en la página de visualización de paneles.

   

Qué sigue

• Consulta la documentación de Cloud Monitoring.
• Obtén información para crear alertas de métricas de Dataproc