Lista de jobs do Dataflow

Para conferir uma lista dos seus jobs do Dataflow, acesse a página Dataflow > Jobs no console Google Cloud .

Acessar Jobs

Uma lista de jobs do Dataflow é exibida junto com o status deles.

Um job pode ter os seguintes status:

• —: a interface de monitoramento ainda não recebeu um status do serviço Dataflow.
• Em execução: o job está em execução.
• Iniciando...: o job é criado, mas o sistema precisa de tempo para se preparar antes da inicialização.
• Em fila: um job do FlexRS está na fila ou um job do modelo flexível está sendo iniciado (o que pode levar vários minutos).
• Cancelando...: o job está sendo cancelado.
• Cancelado: o job foi cancelado.
• Drenando...: o job está sendo drenado.
• Drenado: o job foi drenado.
• Atualizando...: o job está sendo atualizado.
• Atualizado: o job está atualizado.
• Com êxito: o job foi concluído com sucesso.
• Com falha: o job não foi concluído.

Acessar visualizadores do job

Para acessar os gráficos de monitoramento do job, clique no Nome do job na interface de monitoramento do Dataflow. A página Detalhes do job é exibida com as seguintes informações:

• Gráfico do job: representação visual do pipeline
• Detalhes da execução: ferramenta para otimizar a performance do pipeline
• Métricas do job: métricas sobre a execução do job
• Custo: métricas sobre o custo estimado do job
• Escalonamento automático: métricas relacionadas a eventos de escalonamento automático do job de streaming
• Painel de informações do job: informações descritivas sobre seu pipeline
• Registros do job: registros gerados pelo serviço Dataflow no nível do job
• Registros do worker: registros gerados pelo serviço Dataflow no nível do worker
• Diagnóstico: tabela que mostra onde ocorreram erros ao longo do cronograma escolhido e possíveis recomendações para o pipeline
• Amostragem de dados: ferramenta que permite observar os dados em cada etapa de um pipeline.

Na página Detalhes do job, é possível alternar a visualização do job com as guias Gráfico do job, Detalhes da execução, Métricas do job, Custo e Escalonamento automático.

Usar a Google Cloud CLI para listar jobs

Também é possível usar a Google Cloud CLI para receber uma lista dos seus jobs do Dataflow.

Para listar os jobs do Dataflow no projeto, use o comando dataflow jobs list:

gcloud dataflow jobs list

O comando retorna uma lista dos jobs atuais. Confira a seguir um exemplo de saída:

  ID                                        NAME                                    TYPE   CREATION_TIME        STATE   REGION
  2015-06-03_16_39_22-4020553808241078833   wordcount-janedoe-0603233849            Batch  2015-06-03 16:39:22  Done    us-central1
  2015-06-03_16_38_28-4363652261786938862   wordcount-johndoe-0603233820            Batch  2015-06-03 16:38:28  Done    us-central1
  2015-05-21_16_24_11-17823098268333533078  bigquerytornadoes-johndoe-0521232402    Batch  2015-05-21 16:24:11  Done    europe-west1
  2015-05-21_13_38_06-16409850040969261121  bigquerytornadoes-johndoe-0521203801    Batch  2015-05-21 13:38:06  Done    us-central1
  2015-05-21_13_17_18-18349574013243942260  bigquerytornadoes-johndoe-0521201710    Batch  2015-05-21 13:17:18  Done    europe-west1
  2015-05-21_12_49_37-9791290545307959963   wordcount-johndoe-0521194928            Batch  2015-05-21 12:49:37  Done    us-central1
  2015-05-20_15_54_51-15905022415025455887  wordcount-johndoe-0520225444            Batch  2015-05-20 15:54:51  Failed  us-central1
  2015-05-20_15_47_02-14774624590029708464  wordcount-johndoe-0520224637            Batch  2015-05-20 15:47:02  Done    us-central1

Para mostrar mais informações sobre um job, use o comando dataflow jobs describe:

gcloud dataflow jobs describe JOB_ID

Substitua JOB_ID pelo job ID. A saída desse comando é semelhante a esta:

createTime: '2015-02-09T19:39:41.140Z'
currentState: JOB_STATE_DONE
currentStateTime: '2015-02-09T19:56:39.510Z'
id: 2015-02-09_11_39_40-15635991037808002875
name: tfidf-bchambers-0209193926
projectId: google.com:clouddfe
type: JOB_TYPE_BATCH

Para formatar o resultado em JSON, execute o comando com a opção --format=json:

gcloud --format=json dataflow jobs describe JOB_ID

Arquivar (ocultar) jobs do Dataflow de uma lista

Quando você arquiva um job do Dataflow, ele é removido da lista de jobs na página Jobs do Dataflow no console. O job é movido para uma lista de jobs arquivados. Só é possível arquivar jobs concluídos, o que inclui jobs nos seguintes estados:

• JOB_STATE_CANCELLED
• JOB_STATE_DRAINED
• JOB_STATE_DONE
• JOB_STATE_FAILED
• JOB_STATE_UPDATED

Para mais informações sobre como verificar esses estados, consulte Detectar a conclusão do job do Dataflow.

Para informações sobre solução de problemas ao arquivar jobs, consulte Erros de jobs do Archive em "Resolver erros do Dataflow".

Todos os jobs arquivados são excluídos após um período de armazenamento de 30 dias.

Arquivar um job

Siga estas etapas para remover um job concluído da lista principal na página Jobs do Dataflow.

PUT https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/jobs/JOB_ID/?updateMask=job_metadata.user_display_properties.archived

{
  "job_metadata": {
    "userDisplayProperties": {
      "archived": "true"
    }
  }
}

curl -X PUT \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/jobs/JOB_ID/?updateMask=job_metadata.user_display_properties.archived"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method PUT `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/jobs/JOB_ID/?updateMask=job_metadata.user_display_properties.archived" | Select-Object -Expand Content

{
  "id": "JOB_ID",
  "projectId": "PROJECT_ID",
  "currentState": "JOB_STATE_DONE",
  "currentStateTime": "2025-05-20T20:54:41.651442Z",
  "createTime": "2025-05-20T20:51:06.031248Z",
  "jobMetadata": {
    "userDisplayProperties": {
      "archived": "true"
    }
  },
  "startTime": "2025-05-20T20:51:06.031248Z"
}

Acessar e restaurar jobs arquivados

Siga estas etapas para ver jobs arquivados ou restaurar jobs arquivados para a lista principal na página Jobs do Dataflow.

PUT https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/jobs/JOB_ID/?updateMask=job_metadata.user_display_properties.archived

{
  "job_metadata": {
    "userDisplayProperties": {
      "archived": "false"
    }
  }
}

curl -X PUT \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/jobs/JOB_ID/?updateMask=job_metadata.user_display_properties.archived"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method PUT `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/jobs/JOB_ID/?updateMask=job_metadata.user_display_properties.archived" | Select-Object -Expand Content

{
  "id": "JOB_ID",
  "projectId": "PROJECT_ID",
  "currentState": "JOB_STATE_DONE",
  "currentStateTime": "2025-05-20T20:54:41.651442Z",
  "createTime": "2025-05-20T20:51:06.031248Z",
  "jobMetadata": {
    "userDisplayProperties": {
      "archived": "false"
    }
  },
  "startTime": "2025-05-20T20:51:06.031248Z"
}