Métricas de Dataproc

Cloud Monitoring proporciona visibilidad del rendimiento, del tiempo de actividad y del estado general de las aplicaciones basadas en la nube. Google Cloud Observability recopila y transfiere métricas, eventos, y los metadatos de los clústeres de Dataproc, HDFS, YARN, trabajo y métricas de operación para generar estadísticas a través de paneles y gráficos (consulta Métricas de Dataproc de Cloud Monitoring).

• Consulta los precios de Cloud Monitoring para comprender tus costos.

• Consulta Cuotas y límites de Monitoring para obtener información sobre la retención de los datos de métricas.

Colección de métricas de recursos de Dataproc

Cloud Monitoring recopila métricas relacionadas con los siguientes procesos de Dataproc: recursos:

• Clúster de Cloud Dataproc
• Trabajo de Cloud Dataproc (Cloud Dataproc Job)
• Lote de Cloud Dataproc
• Sesión de Cloud Dataproc

Las métricas de recursos de Dataproc se recopilan en el siguiente formato: dataproc.googleapis.com/RESOURCE/METRIC, además de incluir la recopilación de varias métricas de OSS.

Visualiza las métricas de recursos de Dataproc

Puedes seleccionar y ver las métricas de recursos de Dataproc Explorador de métricas escribiendo “dataproc” en el cuadro Filter by resource or metric name y, luego, selecciona “Cloud Dataproc” recurso.

Recopilación de métricas personalizadas

Cuando creas un clúster de Dataproc, puedes habilitar la recopilación de métricas de una o más fuentes de métricas personalizadas. Se recopila un conjunto estándar de métricas de cada fuente de métrica habilitada, a menos que especifiques las métricas que se recopilarán de una fuente de métricas (las métricas especificadas por el usuario se denominan "anulaciones") de métricas

Las métricas personalizadas de OSS se recopilan en el siguiente formato: custom.googleapis.com/OSS_COMPONENT/METRIC

Ejemplos de métricas personalizadas de OSS:

custom.googleapis.com/spark/driver/DAGScheduler/job/allJobs
custom.googleapis.com/hiveserver2/memory/MaxNonHeapMemory

Habilitar la recopilación de métricas personalizadas

Puedes usar gcloud CLI o la API de Dataproc para habilitar la recopilación de métricas personalizadas de una o más fuentes de métricas.

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC_SOURCE(s) \
    ... other flags

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC_SOURCE(s) \
    --metric-overrides=LIST_OF_METRIC_OVERRIDES \
    ... other flags

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC-SOURCE(s) \
    --metric-overrides-file=METRIC_OVERRIDES_FILENAME \
    ... other flags

Ver métricas personalizadas

Puedes seleccionar y ver las métricas de recursos de Dataproc Explorador de métricas Selecciona el recurso VM Instance y, luego, Custom metrics.

Métricas personalizadas

Puedes permitir que Dataproc recopile métricas personalizadas que se enumeran en las siguientes tablas.

• La columna Métricas habilitadas (Enabled metrics) está marcada con "y". si Dataproc recopila la métrica cuando habilitar la fuente de métrica asociada.

• Cualquiera de las métricas enumeradas para una fuente de métricas, y todas Métricas de Spark) Pueden habilitarse para la recopilación si anulas la recopilación del conjunto estándar de habilitadas para la fuente de métricas (consulta Habilitar la recopilación de métricas personalizadas).

• Dataproc usa el agente de supervisión para recopilar métricas. Habilitar cualquier fuente de métricas habilita la recopilación de métricas del agente. Estas métricas no se facturan a los usuarios. Dataproc los usa para diagnosticar problemas de recopilación de métricas.

Métricas de Hadoop

Métricas de HDFS

Métricas de YARN

Métricas de Spark

Métricas del controlador de Spark

Métricas del ejecutor de Spark

Métricas de Flink

Métricas del servidor de historial de Spark

Dataproc recopila las siguientes métricas de memoria de JVM del servicio de historial de Spark:

Métricas de HiveServer 2

Métricas de Hive Metastore

Las métricas de Hive Metastore

Métricas del agente de supervisión de Dataproc

Dataproc recopila la siguiente información Métricas del agente de supervisión de Dataproc cuando configuras --metric-sources=monitoring-agent-defaults. Estas métricas se publican con el prefijo agent.googleapis.com.

CPU
agent.googleapis.com/cpu/load_15m
agent.googleapis.com/cpu/load_1m
agent.googleapis.com/cpu/load_5m
agent.googleapis.com/cpu/usage_time*
agent.googleapis.com/cpu/utilization*

Disco
agent.googleapis.com/disk/bytes_used
agent.googleapis.com/disk/io_time
agent.googleapis.com/disk/merged_operations
agent.googleapis.com/disk/operation_count
agent.googleapis.com/disk/operation_time
agent.googleapis.com/disk/pending_operations
agent.googleapis.com/disk/percent_used
agent.googleapis.com/disk/read_bytes_count

Cambiar
agent.googleapis.com/swap/bytes_used
agent.googleapis.com/swap/io
agent.googleapis.com/swap/percent_used

Memoria
agent.googleapis.com/memory/bytes_used
agent.googleapis.com/memory/percent_used

Procesos - (sigue una política de cuotas ligeramente diferente para algunos atributos)
agent.googleapis.com/processes/count_by_state
agent.googleapis.com/processes/cpu_time
agent.googleapis.com/processes/disk/read_bytes_count
agent.googleapis.com/processes/disk/write_bytes_count
agent.googleapis.com/processes/fork_count
agent.googleapis.com/processes/rss_usage
agent.googleapis.com/processes/vm_usage

Interfaz
agent.googleapis.com/interface/errors
agent.googleapis.com/interface/packets
agent.googleapis.com/interface/traffic

Red
agent.googleapis.com/network/tcp_connections

Crea un panel de Monitoring

Puedes crear un panel de Monitoring que muestre gráficos de métricas seleccionadas de Dataproc.

1. Selecciona + CREAR PANEL en la página Descripción general de los paneles de Monitoring. Ingresa un nombre para el panel y, luego, haz clic en Agregar gráfico en el menú superior derecho para abrir la ventana Agregar gráfico. Selecciona "Cloud Dataproc Cluster" (clúster de Cloud Dataproc) como el tipo de recurso. Selecciona una o varias métricas y propiedades de estas y de gráficos. Luego, guarda el gráfico.

   

2. Puedes agregar gráficos adicionales a tu panel. Después de guardar el panel, su título aparecerá en la página Descripción general de los paneles de Monitoring. Los gráficos de paneles pueden verse, actualizarse y borrarse en la página de visualización de paneles.

   

Qué sigue

• Consulta la documentación de Cloud Monitoring.
• Aprende a crear alertas de métricas de Dataproc.