Para conferir uma lista dos seus jobs do Dataflow, acesse a página Dataflow > Jobs no console do Google Cloud.
Uma lista de jobs do Dataflow é exibida junto com o status deles.
Um job pode ter os seguintes status:
- —: a interface de monitoramento ainda não recebeu um status do serviço Dataflow.
- Em execução: o job está em execução.
- Iniciando...: o job é criado, mas o sistema precisa de tempo para se preparar antes da inicialização.
- Em fila: um job do FlexRS está na fila ou um job do modelo flexível está sendo iniciado (o que pode levar vários minutos).
- Cancelando...: o job está sendo cancelado.
- Cancelado: o job foi cancelado.
- Drenando...: o job está sendo drenado.
- Drenado: o job foi drenado.
- Atualizando...: o job está sendo atualizado.
- Atualizado: o job está atualizado.
- Com êxito: o job foi concluído com sucesso.
- Com falha: o job não foi concluído.
Acessar visualizadores do job
Para acessar os gráficos de monitoramento do job, clique no Nome do job na interface de monitoramento do Dataflow. A página Detalhes do job é exibida com as seguintes informações:
- Gráfico do job: representação visual do pipeline
- Detalhes da execução: ferramenta para otimizar o desempenho do pipeline
- Métricas do job: métricas sobre a execução do job
- Custo: métricas sobre o custo estimado do job
- Escalonamento automático: métricas relacionadas a eventos de escalonamento automático do job de streaming
- Painel de informações do job: informações descritivas sobre seu pipeline
- Registros do job: registros gerados pelo serviço Dataflow no nível do job
- Logs do worker: registros gerados pelo serviço do Dataflow no nível do worker
- Diagnóstico: tabela que mostra onde ocorreram erros ao longo do cronograma escolhido e possíveis recomendações para o pipeline
- Amostragem de dados: ferramenta que permite observar os dados em cada etapa de um pipeline
EmDetalhes do job você pode alternar a visualização do job com as guias Gráfico do job, Detalhes da execução, Métricas do job, Custos eEscalonamento automático.
Usar a CLI do Google Cloud para listar jobs
Também é possível usar a CLI do Google Cloud para conferir uma lista dos seus jobs do Dataflow.
Para listar os jobs do Dataflow no projeto, use o comando dataflow jobs list:
gcloud dataflow jobs list
O comando retorna uma lista dos jobs atuais. Veja um exemplo de saída:
ID NAME TYPE CREATION_TIME STATE REGION 2015-06-03_16_39_22-4020553808241078833 wordcount-janedoe-0603233849 Batch 2015-06-03 16:39:22 Done us-central1 2015-06-03_16_38_28-4363652261786938862 wordcount-johndoe-0603233820 Batch 2015-06-03 16:38:28 Done us-central1 2015-05-21_16_24_11-17823098268333533078 bigquerytornadoes-johndoe-0521232402 Batch 2015-05-21 16:24:11 Done europe-west1 2015-05-21_13_38_06-16409850040969261121 bigquerytornadoes-johndoe-0521203801 Batch 2015-05-21 13:38:06 Done us-central1 2015-05-21_13_17_18-18349574013243942260 bigquerytornadoes-johndoe-0521201710 Batch 2015-05-21 13:17:18 Done europe-west1 2015-05-21_12_49_37-9791290545307959963 wordcount-johndoe-0521194928 Batch 2015-05-21 12:49:37 Done us-central1 2015-05-20_15_54_51-15905022415025455887 wordcount-johndoe-0520225444 Batch 2015-05-20 15:54:51 Failed us-central1 2015-05-20_15_47_02-14774624590029708464 wordcount-johndoe-0520224637 Batch 2015-05-20 15:47:02 Done us-central1
Para mostrar mais informações sobre um job, use o comando
dataflow jobs describe:
gcloud dataflow jobs describe JOB_ID
Substitua JOB_ID pelo job ID. A saída deste comando é semelhante a esta:
createTime: '2015-02-09T19:39:41.140Z' currentState: JOB_STATE_DONE currentStateTime: '2015-02-09T19:56:39.510Z' id: 2015-02-09_11_39_40-15635991037808002875 name: tfidf-bchambers-0209193926 projectId: google.com:clouddfe type: JOB_TYPE_BATCH
Para formatar o resultado em JSON, execute o comando com a opção --format=json:
gcloud --format=json dataflow jobs describe JOB_ID