Collecter des métriques AWS CloudWatch à l'aide de l'exportateur Prometheus CloudWatch

Ce document explique comment utiliser l'exportateur Prometheus CloudWatch Open Source et l'agent Ops exécuté sur une instance Compute Engine pour collecter des métriques AWS CloudWatch et les stocker dans un projet Google Cloud .

Ce document est destiné aux développeurs et aux administrateurs système qui doivent collecter des métriques AWS CloudWatch. Ce document explique comment configurer l'exportateur Prometheus CloudWatch pour collecter les métriques AWS CloudWatch.

Avec Cloud Monitoring, vous pouvez afficher vos métriques AWS dans le même contexte que vos métriques Google Cloud . Par exemple, vous pouvez créer un tableau de bord avec des graphiques qui affichent l'utilisation du processeur pour vos instances Amazon EC2 et Compute Engine. Vous pouvez également créer des règles d'alerte pour surveiller vos métriques AWS. Pour plus d'informations, consultez les sections suivantes :

Avant de commencer

Pour collecter des métriques AWS CloudWatch à l'aide de l'exportateur Prometheus CloudWatch, vous avez besoin des éléments suivants :

  • Un projet Google Cloud avec les autorisations suivantes :
    • Créer une VM
    • Écrire des journaux dans Cloud Logging
    • Écrire des métriques dans Cloud Monitoring
  • Un compte AWS avec des identifiants AWS pouvant être utilisés par l'exportateur Prometheus pour extraire les métriques. Pour en savoir plus, consultez Exécuter l'exportateur Prometheus.

Créer une VM Compute Engine

Nous vous recommandons de créer une VM Linux Compute Engine à utiliser spécifiquement pour exécuter l'Agent Ops et l'exportateur Prometheus CloudWatch. Cette VM sert de site de collecte pour toutes les métriques AWS.

  1. Pour créer une VM Debian Linux nommée aws-exporter-test dans une zone que vous spécifiez, exécutez la commande suivante :

    gcloud compute instances create \
  --image-project debian-cloud \
  --image-family debian-11 \
  --zone ZONE \
  aws-exporter-test

    Configurez la commande comme suit :

    • Remplacez ZONE par la zone de votre nouvelle VM.
    • Facultatif. Remplacez aws-exporter-test par un autre nom pour votre VM.

    Pour en savoir plus sur cette commande, consultez la documentation de référence sur gcloud compute instances create.

  2. Pour accéder à votre VM afin d'installer l'exportateur Prometheus CloudWatch et l'agent Ops, vous pouvez utiliser la commande suivante :

    gcloud compute ssh --zone ZONE  --project PROJECT_ID  aws-exporter-test

    Configurez la commande comme suit :

    • Remplacez ZONE par la zone dans laquelle vous avez créé votre VM.
    • Remplacez PROJECT_ID par l'ID de votre projet Google Cloud .
    • Remplacez aws-exporter-test si vous avez créé votre VM avec un autre nom.

    Pour en savoir plus sur cette commande, consultez la documentation de référence sur gcloud compute ssh.

Configurer l'exportateur Prometheus CloudWatch

Les sections suivantes décrivent la procédure de téléchargement, d'installation et de configuration de l'exportateur Prometheus CloudWatch sur votre VM Compute Engine.

Télécharger l'exportateur Prometheus et le JRE

Pour exécuter l'exportateur Prometheus CloudWatch, vous devez télécharger l'exportateur et l'environnement d'exécution Java (JRE), version 11 ou ultérieure.

  1. Pour télécharger le fichier JAR contenant l'exportateur Prometheus CloudWatch, exécutez la commande suivante sur votre instance Compute Engine :

    curl -sSO https://github.com/prometheus/cloudwatch_exporter/releases/download/v0.15.1/cloudwatch_exporter-0.15.1-jar-with-dependencies.jar

  2. Pour installer le JRE, vous pouvez utiliser une commande comme celle ci-dessous :

    sudo apt install default-jre

Configurer l'exportateur Prometheus

Pour configurer l'exportateur Prometheus CloudWatch, vous devez créer un fichier de configuration pour le ou les services AWS à partir desquels vous souhaitez collecter des métriques. Pour obtenir des informations générales, consultez la documentation sur la configuration de l'exportateur Prometheus CloudWatch.

  • Utilisateurs effectuant une migration : si vous migrez vos métriques AWS CloudWatch existantes vers l'exportateur Prometheus CloudWatch, vous pouvez utiliser les fichiers de configuration dans Configurations de l'exportateur Prometheus CloudWatch pour la migration. Ces fichiers de configuration sont conçus pour reproduire les métriques existantes aussi fidèlement que possible, mais ils ne collectent pas toutes les métriques disponibles à l'aide de l'exportateur Prometheus CloudWatch pour les services AWS.

  • Nouveaux utilisateurs : si vous ne migrez pas de métriques existantes, nous vous recommandons de ne pas utiliser les configurations de migration. Consultez la documentation du service AWS CloudWatch pour savoir comment définir des configurations d'exportateur pour d'autres services. Vous trouverez également d'autres exemples dans le dépôt GitHub de l'exportateur Prometheus CloudWatch.

Vous pouvez combiner la configuration de plusieurs services AWS dans un seul fichier de configuration. Les exemples de ce document partent du principe que votre fichier de configuration s'appelle config.yml.

Exécuter l'exportateur Prometheus

Avant de pouvoir exécuter l'exportateur Prometheus CloudWatch, vous devez lui fournir des identifiants et une autorisation. L'exportateur Prometheus CloudWatch utilise le SDK AWS Java, qui propose des méthodes pour fournir des identifiants à l'aide des variables d'environnement suivantes :

Pour en savoir plus sur la fourniture d'identifiants au SDK, consultez AWS SDK for Java 2.x.

Vous devez également être autorisé à utiliser l'API CloudWatch pour récupérer des métriques. Vous avez besoin des autorisations CloudWatch AWS IAM suivantes :

  • cloudwatch:ListMetrics
  • cloudwatch:GetMetricStatistics
  • cloudwatch:GetMetricData

L'utilisation de la fonctionnalité aws_tag_select nécessite également l'autorisation IAM AWS tag:GetResources.

Pour en savoir plus sur l'autorisation d'accès aux services AWS, consultez AWS Identity and Access Management.

Pour exécuter l'exportateur Prometheus CloudWatch :

  1. Pour fournir des identifiants à l'exportateur, définissez les variables d'environnement access-key :

    export AWS_ACCESS_KEY=YOUR_ACCESS_KEY
export AWS_SECRET_ACCESS_KEY=YOUR_SECRET_ACCESS_KEY
export AWS_SESSION_TOKEN=YOUR_SESSION_TOKEN

    Remplacez les variables YOUR_KEY par vos clés d'accès. Vous ne devez définir la variable d'environnement AWS_SESSION_TOKEN que si vous utilisez des identifiants temporaires.

  2. Pour tester votre configuration, démarrez l'exportateur et chargez votre fichier de configuration en exécutant la commande suivante :

    java -jar cloudwatch_exporter-0.15.1-jar-with-dependencies.jar 9106 config.yml

    Modifiez les valeurs du port (9106) et du fichier de configuration (config.yml) si nécessaire.

    Si vous modifiez votre fichier config.yml pendant l'exécution de l'exportateur, vous pouvez recharger l'exportateur en exécutant la commande suivante :

    curl -X POST localhost:9106/-/reload

    Pour l'utiliser dans un environnement de production, vous pouvez configurer l'exportateur pour qu'il redémarre si la VM redémarre. Par exemple, sur les systèmes Debian, vous pouvez utiliser le gestionnaire de système et de services systemd.

Configurer l'agent Ops

Les sections suivantes expliquent comment installer, configurer et démarrer l'agent Ops. Ces sections fournissent des informations de configuration minimales pour l'agent Ops à utiliser avec l'exportateur Prometheus CloudWatch. Pour en savoir plus sur ces sujets, consultez la présentation de l'agent Ops.

Installer l'agent Ops

Pour installer l'agent Ops, utilisez les commandes suivantes pour télécharger et exécuter le script d'installation de l'agent :

curl -sSO https://dl.google.com/cloudagents/add-google-cloud-ops-agent-repo.sh
sudo bash add-google-cloud-ops-agent-repo.sh --also-install

Configurer l'agent Ops

Pour configurer l'agent Ops, vous devez ajouter des éléments de configuration au fichier de configuration utilisateur de l'agent. Sous Linux, le fichier de configuration de l'utilisateur est /etc/google-cloud-ops-agent/config.yaml.

Lorsque vous configurez l'agent Ops pour collecter des métriques AWS à partir de l'exportateur Prometheus CloudWatch, vous utilisez le récepteur Prometheus de l'agent. Ce document décrit deux configurations de base pour l'agent Ops. Sélectionnez l'une des configurations et ajoutez-la au fichier de configuration utilisateur :

sudo vim /etc/google-cloud-ops-agent/config.yaml

Configuration de base de l'agent Ops

La configuration suivante fournit une configuration minimale pour l'agent Ops. Cette configuration effectue les opérations suivantes :

  • Crée un récepteur nommé aws de type prometheus. Le récepteur est configuré pour extraire les métriques du job aws_exporter. Le port spécifié doit correspondre à celui sur lequel l'exportateur Prometheus CloudWatch exporte les métriques. Pour en savoir plus, consultez Exécuter l'exportateur Prometheus.

  • Crée un pipeline nommé aws_pipeline qui utilise le récepteur de métriques aws.

metrics:
  receivers:
    aws:
      type: prometheus
      config:
        scrape_configs:
          - job_name: 'aws_exporter'
            scrape_interval: 10s
            static_configs:
              - targets: ['localhost:9106']
  service:
    pipelines:
      aws_pipeline:
        receivers:
          - aws

Configuration qui supprime les métriques JVM

La configuration suivante effectue toutes les opérations de la configuration de base, mais elle ajoute également une configuration de réétiquetage qui supprime les métriques JVM générées par l'exportateur. La suppression de ces métriques réduit les données de métriques ingérées, mais peut rendre plus difficile le débogage des problèmes liés à l'exportateur, car vous n'obtenez pas les propres métriques de l'exportateur :

metrics:
  receivers:
    aws:
      type: prometheus
      config:
        scrape_configs:
          - job_name: 'aws_exporter'
            scrape_interval: 10s
            static_configs:
              - targets: ['localhost:9106']
            # Drop the exporter's own JVM metrics to reduce noise.
            metric_relabel_configs:
              - source_labels: [ __name__ ]
                regex: 'jvm_.*'
                action: drop
  service:
    pipelines:
      aws_pipeline:
        receivers:
          - aws

Vous pouvez créer des configurations beaucoup plus complexes pour l'agent Ops.

Redémarrer l'agent Ops

Pour appliquer les modifications de configuration à l'agent Ops, vous devez le redémarrer.

  1. Pour redémarrer l'agent, exécutez la commande suivante sur votre instance : 
    sudo service google-cloud-ops-agent restart
  2. Pour vérifier que l'agent a redémarré, exécutez la commande suivante et vérifiez que les composants "Agent de métriques" et "Agent de journalisation" ont démarré : 
    sudo systemctl status google-cloud-ops-agent"*"

Afficher les métriques dans Cloud Monitoring

Dans Cloud Monitoring, vous pouvez interroger vos métriques AWS CloudWatch et créer des graphiques comme pour n'importe quelle autre métrique. Dans l'interface de l'explorateur de métriques, vous pouvez utiliser PromQL ou une interface de création de requêtes. Pour plus d'informations, consultez la page Créer des graphiques avec l'explorateur de métriques.

Si vous avez créé des graphiques que vous souhaitez conserver, vous pouvez les enregistrer dans des tableaux de bord personnalisés. Pour en savoir plus, consultez Présentation des tableaux de bord.

Le graphique suivant montre une requête PromQL pour la métrique aws_ec2_cpuutilization_sum pour les VM AWS :

Le graphique montre le résultat de la récupération de la statistique aws_ec2_cpuutilization_sum pour les VM AWS à l'aide de PromQL.

Pour en savoir plus sur l'utilisation de PromQL dans Cloud Monitoring, consultez PromQL pour Cloud Monitoring.

Alerter sur le comportement des métriques

Dans Cloud Monitoring, vous pouvez créer des règles d'alerte pour surveiller vos métriques AWS CloudWatch et vous avertir des pics, des baisses ou des tendances dans les valeurs des métriques.

Surveiller plusieurs régions

La configuration de l'exportateur Prometheus CloudWatch n'accepte qu'une seule région par fichier de configuration. Si vous devez surveiller plusieurs régions, nous vous recommandons d'exécuter plusieurs instances de l'exportateur Prometheus, une configurée pour chaque région que vous souhaitez surveiller. Vous pouvez exécuter plusieurs exportateurs sur une même VM ou les répartir sur plusieurs VM. Les images Docker de l'exportateur Prometheus peuvent être utiles dans ce cas.

Vous pouvez configurer l'agent Ops exécuté sur la VM Compute Engine pour extraire plusieurs points de terminaison Prometheus. Nous vous recommandons d'utiliser un nom job différent pour la configuration du scraping lorsque vous configurez plusieurs instances de l'exportateur Prometheus. Vous pourrez ainsi distinguer les instances de l'exportateur si vous devez résoudre des problèmes.

Pour savoir comment configurer l'agent Ops et le récepteur Prometheus, consultez Configurer l'agent Ops.

Coût

Amazon facture chaque requête d'API CloudWatch ou chaque métrique CloudWatch que vous demandez. Pour connaître les tarifs actuels, consultez Tarifs Amazon CloudWatch. L'exportateur Prometheus CloudWatch présente les caractéristiques de requête suivantes, qui peuvent avoir une incidence sur vos coûts Amazon :

  • Lorsque vous utilisez la méthode GetMetricStatistics (par défaut), chaque métrique nécessite une requête API. Chaque requête peut inclure plusieurs statistiques.
  • Lorsque vous utilisez aws_dimensions, l'exportateur doit effectuer des requêtes d'API pour déterminer les métriques à demander. Le nombre de demandes de dimensions est généralement négligeable par rapport au nombre de demandes de métriques.

Cloud Monitoring facture les métriques AWS CloudWatch de l'exportateur Prometheus en fonction du nombre d'échantillons ingérés. Pour connaître les tarifs actuels, consultez les sections Cloud Monitoring de la page Tarifs de Google Cloud Observability.

Configurations de l'exportateur Prometheus CloudWatch pour la migration

Cette section fournit des configurations qui reproduisent, aussi fidèlement que possible, les métriques de service AWS documentées dans la liste des métriques AWS. Ces fichiers de configuration sont destinés aux clients qui migrent vers l'exportateur Prometheus CloudWatch depuis l'ancienne solution. Si vous configurez l'exportateur Prometheus CloudWatch en tant que nouvel utilisateur plutôt qu'en tant qu'utilisateur effectuant une migration et que vous utilisez ces configurations, vous ne collectez pas toutes les métriques AWS que l'exportateur Prometheus CloudWatch met à disposition.

Pour afficher un exemple de fichier de configuration pour les métriques AWS CloudWatch, développez l'une des sections suivantes.