En esta página, se describe cómo usar la pestaña Detalles de la ejecución en la interfaz de supervisión de Dataflow.
Descripción general
Cuando Dataflow ejecuta un trabajo, convierte los pasos de la canalización en etapas. Mientras que cada paso representa una transformación individual, una etapa representa una sola unidad de trabajo que realiza Dataflow. Para optimizar la canalización, Dataflow puede fusionar varios pasos en una etapa.
La pestaña Detalles de la ejecución en la interfaz de supervisión de Dataflow muestra información sobre las etapas de un trabajo. Puedes usar la pestaña Detalles de la ejecución para solucionar problemas de rendimiento, como los siguientes:
- Etapas lentas que causan cuellos de botella en el rendimiento
- Etapas atascadas que no avanzan
- VMs de trabajador que se retrasan con respecto a otros trabajadores
Cómo ver los detalles de la ejecución
Para ver los detalles de la ejecución de un trabajo, sigue estos pasos:
En la consola de Google Cloud, ve a la página Dataflow > Trabajos.
Selecciona un trabajo.
Haz clic en la pestaña Detalles de la ejecución.
Selecciona una de las siguientes vistas:
- Progreso de la etapa
- Flujo de trabajo de la etapa
- Progreso de los trabajadores (solo trabajos por lotes)
En las siguientes secciones, se describe cada una de estas vistas.
Vista del progreso de la etapa
La vista Progreso de la etapa te permite observar el progreso general del trabajo y comparar el progreso relativo entre las etapas. El diseño de la vista Progreso de la etapa difiere entre los trabajos por lotes y los trabajos de transmisión.
Progreso de la etapa para trabajos por lotes
En el caso de los trabajos por lotes, la vista Progreso de la etapa muestra las etapas del trabajo en orden de sus horas de inicio. Para cada etapa, se muestran los siguientes elementos:
- Una barra que muestra las horas de parada y finalización.
- Un gráfico de líneas que muestra el progreso de la etapa a lo largo del tiempo como un porcentaje del trabajo total de la etapa.
- Es el tiempo total que se pasó en la etapa.
Para filtrar las etapas que se muestran, haz clic en Filtrar etapas. Para ver la ruta crítica, activa Ruta crítica. La ruta crítica es la secuencia de etapas que contribuyen al entorno de ejecución general del trabajo. Por ejemplo, excluye las ramas que finalizaron antes que el trabajo general y las entradas que no retrasaron el procesamiento descendente.
En el panel Información de la etapa, se muestra información más detallada sobre una etapa. Para ver los detalles de una etapa, haz clic en la barra de progreso de esa etapa. En el panel Información de la etapa, se muestra la siguiente información sobre una etapa:
- Estado
- Progreso como porcentaje
- Hora de inicio y finalización
- Los pasos de la canalización que abarca esta etapa
- Los pasos más lentos según el tiempo
- Detalles sobre los rezagados
Si el panel no está visible, haz clic en Activar panel "Información de la etapa".
Progreso de la etapa para trabajos de transmisión
En el caso de los trabajos de transmisión, la vista Progreso de la etapa tiene dos visualizaciones de la actualización de los datos. La actualidad de los datos es la diferencia entre la marca de tiempo de un elemento de datos y el momento en que se procesa. Los valores más grandes significan que la canalización tarda más en procesar los datos de entrada.
La primera visualización muestra la actualización de los datos por etapa como un gráfico de líneas. Para ver la actualización de los datos en un instante específico, mantén el puntero sobre el gráfico. Para seleccionar el intervalo de tiempo, usa el selector de hora o haz clic en el gráfico y arrástralo para seleccionar el intervalo. Para filtrar las etapas que se muestran, haz clic en Filtrar etapas.
El gráfico también destaca las anomalías en los datos:
- Desaceleración potencial: La actualidad de los datos supera el percentil 95 para el período seleccionado.
- Potencial bloqueo: La actualización de datos supera el percentil 99 para el período seleccionado.
La segunda visualización muestra las etapas como una serie de barras. Las etapas se ordenan de forma topológica. Las etapas sin descendientes se muestran primero, seguidas de sus descendientes. Las longitudes de las barras representan la actualidad de los datos. Para ver los valores de actualización de los datos en un punto específico, haz clic en el gráfico. Las barras se actualizan para mostrar la actualización de los datos en el momento seleccionado.
En la siguiente imagen, se muestra un trabajo con cuatro etapas. En la marca de tiempo seleccionada, la actualización de los datos varía de 9 a 13 segundos.
En la siguiente imagen, se muestra el mismo trabajo con una marca de tiempo diferente seleccionada. En este punto, la actualización de los datos de todas las etapas supera los 4 minutos, lo que indica que la canalización podría estar bloqueada.
En el panel Información de la etapa, se muestra información más detallada sobre una etapa. Para ver los detalles de una etapa, haz clic en la barra de progreso de esa etapa. En el panel Información de la etapa, se muestra la siguiente información sobre una etapa:
- Estado
- Retraso del sistema: Es el tiempo máximo que un elemento de datos lleva en espera de procesamiento.
- Marca de agua de datos: Es el tiempo estimado de finalización de la entrada de datos para esta etapa.
- Detalles sobre los rezagados
- Los pasos de la canalización que abarca esta etapa
Si el panel no está visible, haz clic en Activar panel "Información de la etapa".
Flujo de trabajo de la etapa
La vista Flujo de trabajo por etapas muestra las etapas del trabajo como un gráfico de flujo de trabajo. Para ver los detalles de una etapa, haz clic en el cuadro de esa etapa.
En el caso de los trabajos por lotes, haz clic en Ruta crítica para ver solo las etapas que contribuyen directamente al entorno de ejecución general del trabajo.
Progreso de los trabajadores
En el caso de los trabajos por lotes, la vista Progreso del trabajador muestra los trabajadores de una etapa en particular. Esta vista no está disponible para los trabajos de transmisión. Para acceder a esta vista, selecciona Progreso del trabajador y selecciona la etapa en Filtrar trabajadores por etapa. Como alternativa, puedes activar esta vista desde la vista Progreso de la etapa de la siguiente manera:
- En la vista Progreso de la etapa, identifica la etapa que deseas ver.
- Mantén el puntero sobre la barra de esa etapa.
- En la tarjeta Etapa, haz clic en Ver trabajadores. La vista Progreso del trabajador se muestra con la etapa preseleccionada.
Cada barra se asigna a un elemento de trabajo programado para un trabajador. Hay un minigráfico que hace un seguimiento del uso de CPU en un trabajador ubicado con cada trabajador, lo que facilita detectar los problemas de uso insuficiente.
¿Qué sigue?
- Obtén más información para solucionar problemas de trabajos lentos o atascados.
- Lee sobre los diferentes componentes de la interfaz de usuario de supervisión basada en la Web de Dataflow.