Ao executar o pipeline usando o Dataflow, é possível visualizar esse job e qualquer outro com a interface de monitoramento do Dataflow. A interface de monitoramento permite visualizar e interagir com suas tarefas do Dataflow.
É possível acessar a interface de monitoramento do Dataflow no Google Cloud console.
As tarefas que você pode realizar usando a interface de monitoramento incluem o seguinte:
- Confira uma lista de jobs em execução, concluídos e com falha.
- Ver uma representação gráfica dos estágios de um job e o progresso de cada um deles
- Veja gráficos de métricas de job, como atualização de dados, utilização de recursos e solicitações de E/S.
- Monitore o custo estimado de um job.
- Ver registros de pipeline.
- Identifique quais etapas podem causar atraso no pipeline.
- Identifique as causas da latência nas suas fontes e receptores.
- Entender os erros do pipeline.
Componentes da interface de monitoramento
A interface de monitoramento contém os seguintes visualizadores e gráficos:
- Painel de monitoramento do projeto
- Um painel que monitora seus jobs do Dataflow no nível do projeto.
- Lista de jobs
- Uma lista de todos os jobs do Dataflow em execução e todos os jobs executados nos últimos 30 dias, com status, região, tempo decorrido e outras informações.
- Gráfico de jobs
- Uma representação gráfica de um pipeline. O gráfico do job também fornece um resumo e um registro do job, além de informações sobre cada etapa do pipeline.
- Detalhes da execução
- Mostra os estágios de execução de um job, a atualização de dados para jobs de streaming e o progresso do worker para jobs em lote.
- Métricas do job
- Gráficos que mostram métricas ao longo da duração de um job.
- Custo estimado
- O custo estimado do seu job do Dataflow, com base nas métricas de uso de recursos.
- Recomendações
- Recomendações para melhorar o desempenho do job, reduzir custos e solucionar erros.
- Escalonamento automático
- Um conjunto de gráficos que ajudam você a entender o comportamento do escalonamento automático de jobs de streaming.
- Registros do pipeline
- Registros emitidos pelo pipeline e pelo serviço Dataflow.
- Amostragem de dados
- Uma ferramenta que permite observar dados amostrados em cada etapa de um pipeline.
A seguir
- Use o Cloud Monitoring para criar alertas e visualizar métricas do Dataflow, incluindo métricas personalizadas.
- Saiba mais sobre como criar pipelines de dados prontos para produção
- Saiba como resolver problemas com seu pipeline