Coletar métricas do AWS CloudWatch usando o exportador do Prometheus CloudWatch

Neste documento, descrevemos como usar o exportador do Prometheus CloudWatch de código aberto e o Agente de operações em execução em uma instância do Compute Engine para coletar métricas do AWS CloudWatch e armazená-las em um projeto Google Cloud .

Este documento é destinado a desenvolvedores e administradores de sistemas que precisam coletar métricas do AWS CloudWatch. Neste documento, descrevemos como configurar o exportador do Prometheus CloudWatch para coletar métricas do AWS CloudWatch.

Com o Cloud Monitoring, é possível ver as métricas da AWS no mesmo contexto das métricas do Google Cloud . Por exemplo, é possível criar um painel com gráficos que mostram a utilização da CPU das instâncias do Amazon EC2 e do Compute Engine. Também é possível criar políticas de alertas para monitorar suas métricas da AWS. Para saber mais, consulte as seguintes seções:

Antes de começar

Para coletar métricas do AWS CloudWatch usando o exportador do Prometheus CloudWatch, você precisa do seguinte:

  • Um projeto do Google Cloud com permissões para fazer o seguinte:
    • Criar uma VM
    • Gravar registros no Cloud Logging
    • Gravar métricas no Cloud Monitoring
  • Uma conta da AWS com credenciais da AWS que podem ser usadas pelo exportador do Prometheus para buscar métricas. Para mais informações, consulte Executar o exportador do Prometheus.

Criar uma VM do Compute Engine

Recomendamos criar uma VM do Linux no Compute Engine para usar especificamente na execução do Agente de operações e do exportador do Prometheus CloudWatch. Essa VM atua como o site de coleta de todas as métricas da AWS.

  1. Para criar uma VM do Debian Linux chamada aws-exporter-test em uma zona especificada, execute o seguinte comando:

    gcloud compute instances create \
  --image-project debian-cloud \
  --image-family debian-11 \
  --zone ZONE \
  aws-exporter-test

    Configure o comando da seguinte maneira:

    • Substitua ZONE pela zona da nova VM.
    • Opcional. Substitua aws-exporter-test por um nome diferente para sua VM.

    Para mais informações sobre esse comando, consulte as referências do gcloud compute instances create.

  2. Para acessar a VM e instalar o exportador do Prometheus CloudWatch e o Agente de operações, use o seguinte comando:

    gcloud compute ssh --zone ZONE  --project PROJECT_ID  aws-exporter-test

    Configure o comando da seguinte maneira:

    • Substitua ZONE pela zona em que você criou a VM.
    • Substitua PROJECT_ID pelo ID do seu projeto Google Cloud .
    • Substitua aws-exporter-test se você criou a VM com um nome diferente.

    Para mais informações sobre esse comando, consulte as referências do gcloud compute ssh.

Configurar o exportador do Prometheus CloudWatch

As seções a seguir descrevem o procedimento para fazer o download, instalar e configurar o exportador do Prometheus CloudWatch na sua VM do Compute Engine.

Faça o download do exportador do Prometheus e do JRE

Para executar o exportador do Prometheus CloudWatch, faça o download dele e do Java Runtime Environment (JRE), versão 11 ou mais recente.

  1. Para fazer o download do arquivo JAR que contém o exportador do Prometheus CloudWatch, execute o seguinte comando na sua instância do Compute Engine:

    curl -sSO https://github.com/prometheus/cloudwatch_exporter/releases/download/v0.15.1/cloudwatch_exporter-0.15.1-jar-with-dependencies.jar

  2. Para instalar o JRE, use um comando como este:

    sudo apt install default-jre

Configurar o exportador do Prometheus

Para configurar o exportador do Prometheus CloudWatch, crie um arquivo de configuração para o serviço ou serviços da AWS de que você quer coletar métricas. Para informações gerais, consulte a documentação de configuração do exportador do Prometheus CloudWatch.

  • Usuários em migração: se você estiver migrando suas métricas atuais do AWS CloudWatch para o exportador do Prometheus CloudWatch, use os arquivos de configuração em Configurações do exportador do Prometheus CloudWatch para migração. Esses arquivos de configuração foram projetados para replicar as métricas atuais da maneira mais fiel possível, mas não coletam todas as métricas disponíveis usando o exportador do Prometheus CloudWatch para os serviços da AWS.

  • Novos usuários: se você não estiver migrando métricas atuais, recomendamos que não use as configurações de migração. Consulte a documentação do serviço AWS CloudWatch para saber como definir configurações de exportador para outros serviços. Você também pode encontrar outras amostras no exportador do Prometheus CloudWatch repositório do GitHub.

É possível combinar a configuração de vários serviços da AWS em um único arquivo de configuração. Os exemplos neste documento pressupõem que o arquivo de configuração se chama config.yml.

Executar o exportador do Prometheus

Antes de executar o exportador do CloudWatch do Prometheus, é preciso fornecer a ele credenciais e autorização. O exportador do Prometheus CloudWatch usa o SDK Java da AWS, que oferece maneiras de fornecer credenciais usando as seguintes variáveis de ambiente:

Para mais informações sobre como fornecer credenciais ao SDK, consulte AWS SDK para Java 2.x.

Você também precisa ter permissão para usar a API CloudWatch e recuperar métricas. São necessárias as seguintes permissões do CloudWatch do IAM da AWS:

  • cloudwatch:ListMetrics
  • cloudwatch:GetMetricStatistics
  • cloudwatch:GetMetricData

Para usar o recurso aws_tag_select, também é necessário ter a permissão tag:GetResources do IAM da AWS.

Para mais informações sobre como autorizar o acesso aos serviços da AWS, consulte AWS Identity and Access Management.

Para executar o exportador do Prometheus CloudWatch, faça o seguinte:

  1. Para fornecer credenciais ao exportador, defina as variáveis de ambiente de chave de acesso:

    export AWS_ACCESS_KEY=YOUR_ACCESS_KEY
export AWS_SECRET_ACCESS_KEY=YOUR_SECRET_ACCESS_KEY
export AWS_SESSION_TOKEN=YOUR_SESSION_TOKEN

    Substitua as variáveis YOUR_KEY pelas suas chaves de acesso. Você só precisa definir a variável de ambiente AWS_SESSION_TOKEN se estiver usando credenciais temporárias.

  2. Para testar sua configuração, inicie o exportador e carregue o arquivo de configuração. Execute o seguinte comando:

    java -jar cloudwatch_exporter-0.15.1-jar-with-dependencies.jar 9106 config.yml

    Mude os valores de porta (9106) e arquivo de configuração (config.yml), se necessário.

    Se você modificar o arquivo config.yml enquanto o exportador estiver em execução, será possível recarregar o exportador executando o seguinte comando:

    curl -X POST localhost:9106/-/reload

    Para uso em um ambiente de produção, é possível configurar o exportador para reiniciar se a VM for reiniciada. Por exemplo, em sistemas Debian, é possível usar o gerenciador de sistema e serviços, o systemd.

Configurar o agente de operações

As seções a seguir descrevem como instalar, configurar e iniciar o agente de operações. Estas seções fornecem informações mínimas de configuração para o Agente de operações para uso com o exportador do Prometheus CloudWatch. Para mais informações sobre esses tópicos, consulte Visão geral do agente de operações.

Instalar o agente de operações

Para instalar o Agente de operações, use os seguintes comandos para fazer o download e executar o script de instalação do agente:

curl -sSO https://dl.google.com/cloudagents/add-google-cloud-ops-agent-repo.sh
sudo bash add-google-cloud-ops-agent-repo.sh --also-install

Configurar o agente de operações

Para configurar o Agente de operações, adicione elementos de configuração ao arquivo de configuração do usuário do agente. No Linux, o arquivo de configuração do usuário é /etc/google-cloud-ops-agent/config.yaml.

Ao configurar o Agente de operações para coletar métricas da AWS do exportador do Prometheus CloudWatch, você usa o receptor do Prometheus do agente. Este documento descreve duas configurações básicas para o Agente de operações. Selecione uma das configurações e adicione-a ao arquivo de configuração do usuário:

sudo vim /etc/google-cloud-ops-agent/config.yaml

Configuração básica do Agente de operações

A configuração a seguir fornece uma configuração mínima para o agente de operações. Essa configuração faz o seguinte:

  • Cria um receptor chamado aws do tipo prometheus. O receptor está configurado para extrair métricas do job aws_exporter. A porta especificada precisa corresponder à porta em que o exportador do Prometheus CloudWatch está exportando métricas. Consulte Executar o exportador do Prometheus.

  • Cria um pipeline chamado aws_pipeline que usa o receptor de métricas aws.

metrics:
  receivers:
    aws:
      type: prometheus
      config:
        scrape_configs:
          - job_name: 'aws_exporter'
            scrape_interval: 10s
            static_configs:
              - targets: ['localhost:9106']
  service:
    pipelines:
      aws_pipeline:
        receivers:
          - aws

Configuração que descarta métricas da JVM

A configuração a seguir faz tudo o que a configuração básica faz, mas também adiciona uma configuração de readequação de rótulos que descarta as métricas da JVM geradas pelo exportador. A remoção dessas métricas reduz os dados de métricas ingeridos, mas pode dificultar a depuração de problemas com o exportador, porque você não recebe as métricas dele:

metrics:
  receivers:
    aws:
      type: prometheus
      config:
        scrape_configs:
          - job_name: 'aws_exporter'
            scrape_interval: 10s
            static_configs:
              - targets: ['localhost:9106']
            # Drop the exporter's own JVM metrics to reduce noise.
            metric_relabel_configs:
              - source_labels: [ __name__ ]
                regex: 'jvm_.*'
                action: drop
  service:
    pipelines:
      aws_pipeline:
        receivers:
          - aws

É possível criar configurações muito mais complexas para o agente de operações.

Reiniciar o agente de operações

Para aplicar as mudanças de configuração ao Agente de operações, reinicie o agente.

  1. Para reiniciar o agente, execute o seguinte comando na instância: 
    sudo service google-cloud-ops-agent restart
  2. Para confirmar se o agente foi reiniciado, execute o seguinte comando e verifique se os componentes "Agente de métricas" e "Agente do Logging" foram iniciados: 
    sudo systemctl status google-cloud-ops-agent"*"

Ver métricas no Cloud Monitoring

No Cloud Monitoring, é possível consultar as métricas do AWS CloudWatch e criar gráficos como faz com qualquer outra métrica. Na interface do Metrics Explorer, é possível usar o PromQL, a linguagem de consulta do Monitoring (MQL) ou uma interface do criador de consultas. Para mais informações, consulte Criar gráficos com o Metrics Explorer.

Se você criou gráficos que quer manter, salve-os em painéis personalizados. Para mais informações, consulte Visão geral dos painéis.

O gráfico a seguir mostra uma consulta PromQL para a métrica aws_ec2_cpuutilization_sum de VMs da AWS:

O gráfico mostra o resultado da busca da estatística aws_ec2_cpuutilization_sum para VMs da AWS usando PromQL.

É possível consultar qualquer métrica no Cloud Monitoring usando o PromQL. Para mais informações, consulte Como mapear métricas do Cloud Monitoring para PromQL.

É possível consultar as métricas do Prometheus usando o PromQL ou ferramentas do Cloud Monitoring, como a Linguagem de consulta do Monitoring (MQL). Quando as métricas do Prometheus são ingeridas no Cloud Monitoring, cada uma delas é transformada usando a transformação OpenTelemetry-to-Prometheus padrão e mapeada para o tipo de recurso monitorado prometheus_target do Cloud Monitoring. A transformação inclui as seguintes mudanças:

  • O nome da métrica é prefixado com a string prometheus.googleapis.com/.
  • Todos os caracteres não alfanuméricos, como pontos (.), no nome da métrica são substituídos por sublinhados (_).
  • O nome da métrica é sufixado com uma string que indica o tipo de métrica, como /gauge ou /counter.

Para consultar a métrica aws_ec2_cpuutilization_sum do Prometheus usando MQL, consulte a métrica como prometheus.googleapis.com/aws_ec2_cpuutilization_sum/gauge e especifique o tipo de recurso monitorado prometheus_target: 

fetch prometheus_target :: 'prometheus.googleapis.com/aws_ec2_cpuutilization_sum/gauge'

O gráfico a seguir mostra o resultado da consulta MQL para a métrica aws_ec2_cpuutilization_sum do Prometheus:

O gráfico mostra o resultado da busca da estatística aws_ec2_cpuutilization_sum para VMs da AWS usando MQL.

Alerta sobre o comportamento da métrica

No Cloud Monitoring, é possível criar [políticas de alertas][alert-intro] para monitorar as métricas do AWS CloudWatch e notificar você sobre picos, quedas ou tendências nos valores das métricas.

Monitorar várias regiões

A configuração do exportador do Prometheus CloudWatch aceita o uso de apenas uma região por arquivo de configuração. Se você precisar monitorar várias regiões, recomendamos executar várias instâncias do exportador do Prometheus, uma configurada para cada região que você quer monitorar. É possível executar vários exportadores em uma única VM ou distribuí-los em várias VMs. As imagens do Docker do exportador do Prometheus podem ser úteis nessa situação.

É possível configurar o Agente de operações em execução na VM do Compute Engine para extrair vários endpoints do Prometheus. Recomendamos que, ao configurar várias instâncias do exportador do Prometheus, você use um nome job diferente para a configuração de extração de cada uma, assim será possível distinguir as instâncias do exportador se precisar resolver problemas.

Para informações sobre como configurar o agente de operações e o receptor do Prometheus, consulte Configurar o agente de operações.

Custo

A Amazon cobra por cada solicitação da API CloudWatch ou por cada métrica do CloudWatch solicitada. Para conferir os preços atuais, consulte Preços do Amazon CloudWatch. O exportador do Prometheus CloudWatch tem as seguintes características de consulta, que podem afetar seus custos da Amazon:

  • Ao usar o método GetMetricStatistics (padrão), cada métrica requer uma solicitação de API. Cada solicitação pode incluir várias estatísticas.
  • Ao usar aws_dimensions, o exportador precisa fazer solicitações de API para determinar quais métricas solicitar. O número de solicitações de dimensões geralmente é insignificante em comparação com o número de solicitações de métricas.

O Cloud Monitoring cobra pelas métricas do AWS CloudWatch do exportador do Prometheus pelo número de amostras ingeridas. Para preços atuais, consulte as seções do Cloud Monitoring na página de preços do Google Cloud Observability.

Configurações do exportador do Prometheus CloudWatch para migração

Esta seção fornece configurações que replicam, o mais próximo possível, as métricas de serviço da AWS documentadas na lista Métricas da AWS. Esses arquivos de configuração são destinados a clientes que estão migrando para o exportador do Prometheus CloudWatch da solução legada. Se você estiver configurando o exportador do Prometheus CloudWatch como um novo usuário em vez de um usuário em migração e usar essas configurações, não estará coletando todas as métricas da AWS disponibilizadas pelo exportador do Prometheus CloudWatch.

Para conferir um exemplo de arquivo de configuração para métricas do AWS CloudWatch, abra uma das seções a seguir.