Ao executar o pipeline usando o Dataflow, é possível conferir esse job e outros usando a interface de monitoramento do Dataflow. A interface de monitoramento permite visualizar e interagir com suas tarefas do Dataflow.
É possível acessar a interface de monitoramento do Dataflow no Console do Google Cloud.
As tarefas que você pode realizar usando a interface de monitoramento incluem:
- Confira uma lista de jobs em execução, concluídos e com falha.
- Conferir uma representação gráfica das etapas de um job e o progresso de cada etapa
- Confira gráficos de métricas de jobs, como atualização de dados, utilização de recursos e solicitações de E/S.
- Monitorar o custo estimado de um job.
- Acessar os registros do pipeline.
- Identifique quais etapas podem causar atraso no pipeline.
- Identifique as causas de latência nas suas fontes e coletores.
- Entender os erros do pipeline.
Monitorar componentes da interface
A interface de monitoramento contém os seguintes visualizadores e gráficos:
- Painel de monitoramento do projeto
- Um painel que monitora os jobs do Dataflow no nível do projeto.
- Lista de vagas
- Uma lista de todos os jobs do Dataflow em execução e todos os jobs executados nos últimos 30 dias, além do status, da região, do tempo decorrido e de outras informações.
- Gráfico de jobs
- Uma representação gráfica de um pipeline. O gráfico do job também fornece um resumo, um registro e informações sobre cada etapa do pipeline.
- Detalhes da execução
- Mostra os estágios de execução de um job, a atualização de dados para jobs de streaming e o progresso do worker para jobs em lote.
- Métricas do job
- Gráficos que mostram métricas ao longo da duração de um job.
- Custo estimado
- O custo estimado do seu job do Dataflow com base nas métricas de uso do recurso.
- Recomendações
- Recomendações para melhorar a performance do job, reduzir custos e solucionar erros.
- Escalonamento automático
- Um conjunto de gráficos que ajudam a entender o comportamento de escalonamento automático de jobs de streaming.
- Logs do pipeline
- Registros emitidos pelo pipeline e pelo serviço do Dataflow.
- Amostragem de dados
- Uma ferramenta que permite observar os dados amostrados em cada etapa de um pipeline.
A seguir
- Use o Cloud Monitoring para criar alertas e visualizar métricas do Dataflow, incluindo métricas personalizadas.
- Saiba mais sobre como criar pipelines de dados prontos para produção
- Saiba como resolver problemas com seu pipeline