Lista de trabajos de Dataflow

Para ver una lista de tus trabajos de Dataflow, ve a la página Dataflow > Trabajos en la consola de Google Cloud.

Ir a Trabajos

Aparecerá una lista de trabajos de Dataflow junto con su estado.

Una lista de trabajos de Dataflow con trabajos en los estados en ejecución, con errores y finalizado de manera correcta.
Figura 1: Una lista de trabajos de Dataflow en la consola de Google Cloud con trabajos en los estados Iniciando, Con errores y Se completó correctamente.

Un trabajo puede tener los siguientes estados:

  • —: La interfaz de supervisión aún no recibió un estado del servicio Dataflow.
  • En ejecución: el trabajo está en ejecución.
  • Iniciando…: Se crea el trabajo, pero el sistema necesita tiempo para prepararse antes de iniciarlo.
  • En cola: Un trabajo de FlexRS está en cola o se está iniciando un trabajo de plantilla flexible (que puede tardar varios minutos).
  • Cancelando…: El trabajo se está cancelando.
  • Cancelado: el trabajo se canceló.
  • Desviando…: el trabajo se está desviando.
  • Desviado: el trabajo se desvió.
  • Actualizando…: el trabajo se está actualizando.
  • Actualizado: el trabajo se actualizó.
  • Finalizado de manera correcta: el trabajo finalizó correctamente.
  • Con errores: No se pudo completar el trabajo.

Accede a los visualizadores de trabajo

Para acceder a los gráficos a fin de supervisar tu trabajo, haz clic en el nombre del trabajo en la interfaz de supervisión de Dataflow. Se muestra la página Detalles del trabajo, que contiene la siguiente información:

  • Gráfico del trabajo: Es la representación visual de tu canalización.
  • Detalles de ejecución: Es la herramienta para optimizar el rendimiento de la canalización.
  • Métricas de trabajo: Son las métricas sobre la ejecución de tu trabajo.
  • Costo: Métricas sobre el costo estimado de tu trabajo
  • Ajuste de escala automático: Son las métricas relacionadas con los eventos de ajuste de escala automático de un trabajo de transmisión.
  • Panel Información del trabajo: información descriptiva sobre tu canalización
  • Registros de trabajos: Registros generados por el servicio de Dataflow a nivel del trabajo
  • Registros de trabajadores: Registros generados por el servicio de Dataflow a nivel del trabajador
  • Diagnóstico: Es la tabla que muestra dónde se produjeron errores a lo largo del cronograma elegido y las posibles recomendaciones para tu canalización.
  • Muestreo de datos: Es una herramienta que te permite observar los datos en cada paso de una canalización.

En la página Detalles del trabajo puedes cambiar la vista de trabajo con las pestañas Gráfico del trabajo, Detalles de la ejecución, Métricas del trabajo, Costo y Ajuste de escala automático.

Usa Google Cloud CLI para generar una lista de trabajos

También puedes usar Google Cloud CLI para obtener una lista de tus trabajos de Dataflow.

Para enumerar los trabajos de Dataflow en tu proyecto, usa el comando dataflow jobs list:

gcloud dataflow jobs list

El comando muestra una lista de tus trabajos actuales. El siguiente es un resultado de muestra:

  ID                                        NAME                                    TYPE   CREATION_TIME        STATE   REGION
  2015-06-03_16_39_22-4020553808241078833   wordcount-janedoe-0603233849            Batch  2015-06-03 16:39:22  Done    us-central1
  2015-06-03_16_38_28-4363652261786938862   wordcount-johndoe-0603233820            Batch  2015-06-03 16:38:28  Done    us-central1
  2015-05-21_16_24_11-17823098268333533078  bigquerytornadoes-johndoe-0521232402    Batch  2015-05-21 16:24:11  Done    europe-west1
  2015-05-21_13_38_06-16409850040969261121  bigquerytornadoes-johndoe-0521203801    Batch  2015-05-21 13:38:06  Done    us-central1
  2015-05-21_13_17_18-18349574013243942260  bigquerytornadoes-johndoe-0521201710    Batch  2015-05-21 13:17:18  Done    europe-west1
  2015-05-21_12_49_37-9791290545307959963   wordcount-johndoe-0521194928            Batch  2015-05-21 12:49:37  Done    us-central1
  2015-05-20_15_54_51-15905022415025455887  wordcount-johndoe-0520225444            Batch  2015-05-20 15:54:51  Failed  us-central1
  2015-05-20_15_47_02-14774624590029708464  wordcount-johndoe-0520224637            Batch  2015-05-20 15:47:02  Done    us-central1

Para mostrar más información sobre un trabajo, usa el comando dataflow jobs describe:

gcloud dataflow jobs describe JOB_ID

Reemplaza JOB_ID por el trabajo ID. El resultado de este comando es similar al siguiente:

createTime: '2015-02-09T19:39:41.140Z'
currentState: JOB_STATE_DONE
currentStateTime: '2015-02-09T19:56:39.510Z'
id: 2015-02-09_11_39_40-15635991037808002875
name: tfidf-bchambers-0209193926
projectId: google.com:clouddfe
type: JOB_TYPE_BATCH

Para formatear el resultado en JSON, ejecuta el comando con la opción --format=json:

gcloud --format=json dataflow jobs describe JOB_ID