Cuando ejecutas tu flujo de procesamiento con Dataflow, puedes ver esa tarea y cualquier otra mediante la interfaz de monitorización de Dataflow. La interfaz de monitorización te permite ver tus tareas de Dataflow e interactuar con ellas.
Puedes acceder a la interfaz de monitorización de Dataflow en laGoogle Cloud console.
Estas son algunas de las tareas que puedes realizar con la interfaz de monitorización:
- Consulta una lista de los trabajos en curso, completados y fallidos.
- Ver una representación gráfica de las fases de una tarea y el progreso de cada una
- Consulta gráficos de métricas de tareas, como la actualización de datos, la utilización de recursos y las solicitudes de E/S.
- Monitoriza el coste estimado de un trabajo.
- Ver los registros de la canalización.
- Identifica qué pasos pueden provocar un retraso en la canalización.
- Identifica las causas de la latencia en tus fuentes y receptores.
- Comprender los errores de las canalizaciones.
Componentes de la interfaz de monitorización
La interfaz de monitorización contiene los siguientes visualizadores y gráficos:
- Panel de control de monitorización de proyectos
- Un panel de control que monitoriza tus tareas de Dataflow a nivel de proyecto.
- Lista de trabajos
- Una lista de todas las tareas de Dataflow en ejecución y de todas las tareas que se han ejecutado en los últimos 30 días, junto con su estado, región, tiempo transcurrido y otra información.
- Gráfico de tareas
- Representación gráfica de una canalización. El gráfico de tareas también proporciona un resumen de la tarea, un registro de la tarea e información sobre cada paso de la canalización.
- Detalles de la ejecución
- Muestra las fases de ejecución de una tarea, la actualización de datos de las tareas de streaming y el progreso de los trabajadores de las tareas por lotes.
- Métricas de tareas
- Gráficos que muestran métricas a lo largo de la duración de un trabajo.
- Coste estimado
- El coste estimado de tu tarea de Dataflow, basado en las métricas de uso de recursos.
- Recomendaciones
- Recomendaciones para mejorar el rendimiento de las tareas, reducir los costes y solucionar errores.
- Escalado automático
- Un conjunto de gráficos que te ayudan a comprender el comportamiento del autoescalado de los trabajos de streaming.
- Registros de la canalización
- Registros emitidos por tu flujo de procesamiento y por el servicio Dataflow.
- Muestreo de datos
- Herramienta que te permite observar los datos muestreados en cada paso de un flujo de procesamiento.
Siguientes pasos
- Usa Cloud Monitoring para crear alertas y ver métricas de Dataflow, incluidas las métricas personalizadas
- Más información sobre cómo crear flujos de procesamiento de datos listos para producción
- Consulta cómo solucionar problemas de tu flujo de trabajo.