Nesta página, apresentamos as ferramentas que você pode usar para resolver problemas e monitorar clusters e jobs do Dataproc.
O Dataproc é um serviço totalmente gerenciado e altamente escalonável para executar plataformas de processamento distribuído de código aberto, como Apache Hadoop, Apache Spark, Apache Flink e Trino. Use os arquivos e as ferramentas discutidos nas seções a seguir para resolver problemas e monitorar seus clusters e jobs do Dataproc.
Interfaces da Web de código aberto
Muitos componentes de código aberto do cluster do Dataproc, como Apache Hadoop e Apache Spark, fornecem interfaces da Web. Essas interfaces podem ser usadas para monitorar recursos do cluster e o desempenho do job. Por exemplo, é possível usar a UI do gerenciador de recursos YARN para conferir a alocação de recursos do aplicativo YARN em um cluster do Dataproc.
Servidor de histórico persistente
As interfaces da Web de código aberto em execução em um cluster ficam disponíveis enquanto o cluster está em execução, mas são encerradas quando você o exclui. Para conferir os dados do cluster e do job após a exclusão de um cluster, crie um servidor de histórico permanente (PHS).
Exemplo: você encontra um erro ou uma lentidão no job que quer analisar. Você para ou exclui o cluster de jobs e, em seguida, visualiza e analisa os dados do histórico de jobs usando seu PHS.
Depois de criar um PHS, ative-o em um cluster do Dataproc ou em uma carga de trabalho em lote do Dataproc sem servidor ao criar o cluster ou enviar a carga de trabalho em lote. Um PHS pode acessar dados de histórico de jobs executados em vários clusters, permitindo monitorar jobs em um projeto em vez de monitorar UIs separadas executadas em diferentes clusters.
Registros do Dataproc
O Dataproc coleta os registros gerados pelo Apache Hadoop, Spark, Hive, Zookeeper e outros sistemas de código aberto em execução nos seus clusters e os envia para o Logging. Esses registros são agrupados com base na origem deles, o que permite selecionar e visualizar os registros de seu interesse. Por exemplo, os registros do YARN NodeManager e do Spark Executor gerados em um cluster são rotulados separadamente. Consulte Registros do Dataproc para mais informações sobre o conteúdo e as opções de registros do Dataproc.
Cloud Logging
O Logging é um sistema de gerenciamento de registros em tempo real totalmente gerenciado. Ele oferece armazenamento para registros ingeridos de serviços do Google Cloud e ferramentas para pesquisar, filtrar e analisar registros em grande escala. Os clusters do Dataproc geram vários registros, incluindo os do agente de serviço do Dataproc, os de inicialização do cluster e os de componentes OSS, como os do NodeManager do YARN.
O registro em registros é ativado por padrão em clusters do Dataproc e cargas de trabalho em lote do Dataproc sem servidor. Os registros são exportados periodicamente para o Logging, onde permanecem após a exclusão do cluster ou a conclusão da carga de trabalho.
Métricas do Dataproc
As métricas de cluster e job do Dataproc, com o prefixo dataproc.googleapis.com/, consistem em dados de série temporal que fornecem insights sobre a performance de um cluster, como utilização da CPU ou status do job. As métricas personalizadas do Dataproc, com o prefixo custom.googleapis.com/, incluem métricas emitidas por sistemas de código aberto em execução no cluster, como a métrica running applications do YARN. Ter insights sobre as métricas do Dataproc pode ajudar você a configurar seus clusters com eficiência. A configuração de alertas com base em métricas ajuda a reconhecer e responder a problemas rapidamente.
As métricas de cluster e job do Dataproc são coletadas por padrão sem custos financeiros. A coleta de métricas personalizadas é cobrada dos clientes. É possível ativar a coleta de métricas personalizadas ao criar um cluster. A coleta de métricas do Spark do Dataproc sem servidor é ativada por padrão em cargas de trabalho em lote do Spark.
Cloud Monitoring
O Monitoring usa metadados e métricas de cluster, incluindo métricas de HDFS, YARN, job e operação, para fornecer visibilidade da integridade, do desempenho e da disponibilidade dos clusters e jobs do Dataproc. Use o Monitoring para analisar métricas, adicionar gráficos, criar painéis e alertas.
Metrics Explorer
Use o Metrics Explorer
para conferir as métricas do Dataproc.
As métricas de cluster, job e lote sem servidor do Dataproc estão listadas nos recursos Cloud Dataproc Cluster, Cloud Dataproc Job e Cloud Dataproc Batch. As métricas personalizadas do Dataproc estão listadas no recurso VM Instances, categoria Custom.
Gráficos
Use o Metrics Explorer para criar gráficos que visualizam métricas do Dataproc.
Por exemplo, você cria um gráfico para ver o número de aplicativos Yarn ativos em execução nos clusters e adiciona um filtro para selecionar as métricas visualizadas por nome ou região do cluster.
Painéis
É possível criar painéis para monitorar clusters e jobs do Dataproc usando métricas de vários projetos e diferentes produtos do Google Cloud . É possível criar painéis no console do Google Cloud na página Visão geral dos painéis clicando, criando e salvando um gráfico da página Metrics Explorer.
Alertas
É possível criar alertas de métricas do Dataproc para receber avisos oportunos sobre problemas de cluster ou job.
A seguir
- Saiba como resolver problemas de mensagens de erro do Dataproc.
- Saiba como ver dados de diagnóstico de clusters do Dataproc.
- Consulte as Perguntas frequentes do Dataproc.