En esta página, se describe cómo usar la pestaña Detalles de ejecución en la interfaz de supervisión de Dataflow.
Descripción general
Cuando Dataflow ejecuta un trabajo, convierte los pasos de la canalización en etapas. Mientras que cada paso representa una transformación individual, una etapa representa una sola unidad de trabajo que realiza Dataflow. Para optimizar la canalización, Dataflow puede fusionar varios pasos en una sola etapa.
En la pestaña Detalles de ejecución de la interfaz de supervisión de Dataflow, se muestra información sobre las etapas de un trabajo. Puedes usar la pestaña Detalles de la ejecución para solucionar problemas de rendimiento, como los siguientes:
- Etapas lentas que causan cuellos de botella en el rendimiento
- Etapas atascadas que no avanzan
- VM de trabajador que se retrasa en comparación con otros trabajadores
Ver detalles de la ejecución
Para ver los detalles de la ejecución de un trabajo, sigue estos pasos:
En la consola de Google Cloud , ve a la página Trabajos de Dataflow >.
Selecciona un trabajo.
Haz clic en la pestaña Detalles de la ejecución.
Selecciona una de las siguientes vistas:
- Progreso de la etapa
- Flujo de trabajo de la etapa
- Progreso del trabajador (solo trabajos por lotes)
En las siguientes secciones, se describe cada una de estas vistas.
Vista del progreso de la etapa
La vista Progreso de la etapa te permite observar el progreso general del trabajo y comparar el progreso relativo entre las etapas. El diseño de la vista Progreso de la etapa difiere entre los trabajos por lotes y los trabajos de transmisión.
Progreso de la etapa para trabajos por lotes
En el caso de los trabajos por lotes, la vista Progreso de la etapa muestra las etapas del trabajo en orden de sus horas de inicio. En cada etapa, se muestran los siguientes elementos:
- Una barra que muestra las horas de inicio y finalización.
- Un gráfico de líneas que muestra el progreso de la etapa a lo largo del tiempo como un porcentaje del trabajo total de la etapa.
- Es el tiempo total dedicado a la etapa.
Para filtrar las etapas que se muestran, haz clic en Filtrar etapas. Para ver la ruta crítica, activa Ruta crítica. La ruta crítica es la secuencia de etapas que contribuyen al tiempo de ejecución general del trabajo. Por ejemplo, excluye las ramas que finalizaron antes del trabajo general y las entradas que no retrasaron el procesamiento posterior.
En el panel Stage Info, se muestra información más detallada sobre una etapa. Para ver los detalles de una etapa, haz clic en su barra de progreso. En el panel Stage Info, se muestra la siguiente información sobre una etapa:
- Estado
- Progreso como porcentaje
- Hora de inicio y finalización
- Los pasos de la canalización que abarca esta etapa
- Los pasos más lentos según el tiempo
- Detalles sobre los rezagados
Si el panel no está visible, haz clic en Alternar panel "Información del escenario".
Progreso de la etapa para trabajos de transmisión
Para los trabajos de transmisión, la vista Progreso de la etapa tiene dos visualizaciones de la actualización de los datos. La actualidad de los datos es la diferencia entre la marca de tiempo de un elemento de datos y el momento en que se procesa el elemento. Los valores más grandes significan que la canalización tarda más en procesar los datos de entrada.
La primera visualización muestra la actualización de los datos por etapa como un gráfico de líneas. Para ver la actualidad de los datos en un instante específico, mantén el puntero sobre el gráfico. Para seleccionar el intervalo de tiempo, usa el selector de hora o haz clic en el gráfico y arrastra el mouse para seleccionar el intervalo. Para filtrar las etapas que se muestran, haz clic en Filtrar etapas.
El gráfico también destaca las anomalías en los datos:
- Posible lentitud: La actualidad de los datos supera el percentil 95 para el período seleccionado.
- Potencialmente bloqueado: La actualidad de los datos supera el percentil 99 para el período seleccionado.
La segunda visualización muestra las etapas como una serie de barras. Las etapas se organizan en orden topológico. Primero se muestran las etapas sin descendientes y, luego, sus descendientes. La longitud de las barras representa la actualidad de los datos. Para ver los valores de actualización de los datos en un punto específico, haz clic en el gráfico. Las barras se actualizan para mostrar la actualización de los datos en el momento seleccionado.
En la siguiente imagen, se muestra un trabajo con cuatro etapas. En la marca de tiempo seleccionada, la actualización de los datos varía entre 9 y 13 segundos.
En la siguiente imagen, se muestra el mismo trabajo con una marca de tiempo diferente seleccionada. En este punto, la actualidad de los datos para todas las etapas supera los 4 minutos, lo que indica que la canalización podría estar atascada.
En el panel Stage Info, se muestra información más detallada sobre una etapa. Para ver los detalles de una etapa, haz clic en su barra de progreso. En el panel Stage Info, se muestra la siguiente información sobre una etapa:
- Estado
- Retraso del sistema: El tiempo máximo en que un elemento de datos ha estado esperando procesamiento
- Marca de agua de datos: Es la hora estimada de finalización de la entrada de datos para esta etapa.
- Detalles sobre los rezagados
- Los pasos de la canalización que abarca esta etapa
Si el panel no está visible, haz clic en Alternar panel "Información del escenario".
Flujo de trabajo de la etapa
La vista Flujo de trabajo por etapas muestra las etapas del trabajo como un gráfico de flujo de trabajo. Para ver los detalles de una etapa, haz clic en el cuadro correspondiente.
En el caso de los trabajos por lotes, haz clic en Ruta crítica para ver solo las etapas que contribuyen directamente al tiempo de ejecución general del trabajo.
Progreso de los trabajadores
Para los trabajos por lotes, la vista Progreso del trabajador muestra los trabajadores de una etapa en particular. Esta vista no está disponible para los trabajos de transmisión. Para acceder a esta vista, selecciona Progreso del trabajador y, luego, la etapa en Filtrar trabajadores por etapa. Como alternativa, puedes activar esta vista desde la vista Progreso de la etapa de la siguiente manera:
- En la vista Progreso de la etapa, identifica la etapa que deseas ver.
- Mantén el puntero sobre la barra de esa etapa.
- En la tarjeta Etapa, haz clic en Ver trabajadores. Se muestra la vista Progreso del trabajador con la etapa preseleccionada.
Cada barra se asigna a un elemento de trabajo programado para un trabajador. Cada trabajador incluye un minigráfico que hace un seguimiento del uso de CPU, lo que facilita detectar los problemas de uso insuficiente.
¿Qué sigue?
- Obtén más información para solucionar problemas de trabajos lentos o atascados.
- Lee sobre los diferentes componentes de la interfaz de usuario de supervisión basada en la Web de Dataflow.