Lista de trabajos de Dataflow

Para ver una lista de tus trabajos de Dataflow, ve a la página Dataflow > Trabajos en la consola de Google Cloud .

Ir a Trabajos

Aparecerá una lista de trabajos de Dataflow junto con su estado.

Un trabajo puede tener los siguientes estados:

• —: La interfaz de supervisión aún no recibió un estado del servicio Dataflow.
• En ejecución: el trabajo está en ejecución.
• Iniciando…: Se crea el trabajo, pero el sistema necesita tiempo para prepararse antes de iniciarlo.
• En cola: Un trabajo de FlexRS está en cola o un trabajo de plantilla flexible se está lanzando (lo que puede tardar varios minutos).
• Cancelando…: El trabajo se está cancelando.
• Cancelado: el trabajo se canceló.
• Desviando…: el trabajo se está desviando.
• Desviado: el trabajo se desvió.
• Actualizando…: el trabajo se está actualizando.
• Actualizado: el trabajo se actualizó.
• Finalizado de manera correcta: el trabajo finalizó correctamente.
• Con errores: No se pudo completar el trabajo.

Accede a los visualizadores de trabajo

Para acceder a los gráficos a fin de supervisar tu trabajo, haz clic en el nombre del trabajo en la interfaz de supervisión de Dataflow. Se muestra la página Detalles del trabajo, que contiene la siguiente información:

• Gráfico del trabajo: Es la representación visual de tu canalización.
• Detalles de ejecución: Herramienta para optimizar el rendimiento de tu canalización
• Métricas de empleo: Son las métricas sobre la ejecución de tu trabajo.
• Costo: Son las métricas sobre el costo estimado de tu trabajo.
• Ajuste de escala automático: Métricas relacionadas con los eventos de ajuste de escala automático de un trabajo de transmisión
• Panel Información del trabajo: Información descriptiva sobre tu canalización
• Registros de trabajos: Registros generados por el servicio de Dataflow a nivel del trabajo
• Registros de trabajadores: Registros generados por el servicio de Dataflow a nivel del trabajador
• Diagnóstico: Es la tabla que muestra dónde se produjeron errores a lo largo del cronograma elegido y las posibles recomendaciones para tu canalización.
• Muestreo de datos: Herramienta que te permite observar los datos en cada paso de una canalización

En la página Detalles del trabajo, puedes cambiar la vista de trabajo con las pestañas Gráfico del trabajo, Detalles de la ejecución, Métricas del trabajo, Costo y Ajuste de escala automático.

Usa Google Cloud CLI para enumerar trabajos

También puedes usar Google Cloud CLI para obtener una lista de tus trabajos de Dataflow.

Para enumerar los trabajos de Dataflow en tu proyecto, usa el comando dataflow jobs list:

gcloud dataflow jobs list

El comando muestra una lista de tus trabajos actuales. A continuación, se muestra un ejemplo de resultado:

  ID                                        NAME                                    TYPE   CREATION_TIME        STATE   REGION
  2015-06-03_16_39_22-4020553808241078833   wordcount-janedoe-0603233849            Batch  2015-06-03 16:39:22  Done    us-central1
  2015-06-03_16_38_28-4363652261786938862   wordcount-johndoe-0603233820            Batch  2015-06-03 16:38:28  Done    us-central1
  2015-05-21_16_24_11-17823098268333533078  bigquerytornadoes-johndoe-0521232402    Batch  2015-05-21 16:24:11  Done    europe-west1
  2015-05-21_13_38_06-16409850040969261121  bigquerytornadoes-johndoe-0521203801    Batch  2015-05-21 13:38:06  Done    us-central1
  2015-05-21_13_17_18-18349574013243942260  bigquerytornadoes-johndoe-0521201710    Batch  2015-05-21 13:17:18  Done    europe-west1
  2015-05-21_12_49_37-9791290545307959963   wordcount-johndoe-0521194928            Batch  2015-05-21 12:49:37  Done    us-central1
  2015-05-20_15_54_51-15905022415025455887  wordcount-johndoe-0520225444            Batch  2015-05-20 15:54:51  Failed  us-central1
  2015-05-20_15_47_02-14774624590029708464  wordcount-johndoe-0520224637            Batch  2015-05-20 15:47:02  Done    us-central1

Para mostrar más información sobre un trabajo, usa el comando dataflow jobs describe:

gcloud dataflow jobs describe JOB_ID

Reemplaza JOB_ID por el trabajo ID. El resultado de este comando es similar al siguiente:

createTime: '2015-02-09T19:39:41.140Z'
currentState: JOB_STATE_DONE
currentStateTime: '2015-02-09T19:56:39.510Z'
id: 2015-02-09_11_39_40-15635991037808002875
name: tfidf-bchambers-0209193926
projectId: google.com:clouddfe
type: JOB_TYPE_BATCH

Para formatear el resultado en JSON, ejecuta el comando con la opción --format=json:

gcloud --format=json dataflow jobs describe JOB_ID

Archiva (oculta) trabajos de Dataflow de una lista

Cuando archivas un trabajo de Dataflow, este se quita de la lista de trabajos en la página Trabajos de Dataflow en la consola. El trabajo se mueve a una lista de trabajos archivados. Solo puedes archivar trabajos completados, que incluyen trabajos en los siguientes estados:

• JOB_STATE_CANCELLED
• JOB_STATE_DRAINED
• JOB_STATE_DONE
• JOB_STATE_FAILED
• JOB_STATE_UPDATED

Para obtener más información sobre cómo verificar estos estados, consulta Detecta la finalización de un trabajo de Dataflow.

Para obtener información sobre la solución de problemas cuando archivas trabajos, consulta Archiva errores de trabajos en “Soluciona errores de Dataflow”.

Todos los trabajos logrados se borran después de un período de retención de 30 días.

Archiva un trabajo

Sigue estos pasos para quitar un trabajo completado de la lista de trabajos principales en la página Trabajos de Dataflow.

PUT https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/jobs/JOB_ID/?updateMask=job_metadata.user_display_properties.archived

{
  "job_metadata": {
    "userDisplayProperties": {
      "archived": "true"
    }
  }
}

curl -X PUT \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/jobs/JOB_ID/?updateMask=job_metadata.user_display_properties.archived"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method PUT `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/jobs/JOB_ID/?updateMask=job_metadata.user_display_properties.archived" | Select-Object -Expand Content

{
  "id": "JOB_ID",
  "projectId": "PROJECT_ID",
  "currentState": "JOB_STATE_DONE",
  "currentStateTime": "2025-05-20T20:54:41.651442Z",
  "createTime": "2025-05-20T20:51:06.031248Z",
  "jobMetadata": {
    "userDisplayProperties": {
      "archived": "true"
    }
  },
  "startTime": "2025-05-20T20:51:06.031248Z"
}

Visualiza y restablece trabajos archivados

Sigue estos pasos para ver los trabajos archivados o restablecer los trabajos archivados en la lista de trabajos principales de la página Trabajos de Dataflow.

PUT https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/jobs/JOB_ID/?updateMask=job_metadata.user_display_properties.archived

{
  "job_metadata": {
    "userDisplayProperties": {
      "archived": "false"
    }
  }
}

curl -X PUT \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/jobs/JOB_ID/?updateMask=job_metadata.user_display_properties.archived"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method PUT `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/jobs/JOB_ID/?updateMask=job_metadata.user_display_properties.archived" | Select-Object -Expand Content

{
  "id": "JOB_ID",
  "projectId": "PROJECT_ID",
  "currentState": "JOB_STATE_DONE",
  "currentStateTime": "2025-05-20T20:54:41.651442Z",
  "createTime": "2025-05-20T20:51:06.031248Z",
  "jobMetadata": {
    "userDisplayProperties": {
      "archived": "false"
    }
  },
  "startTime": "2025-05-20T20:51:06.031248Z"
}