Trouver des informations de dépannage pour l'agent Ops

Ce document décrit les sources d'informations de diagnostic que vous pouvez utiliser pour identifier les problèmes d'installation ou d'exécution de l'agent Ops.

Vérifier l'état de l'agent à l'aide de gcpdiag

Vous pouvez utiliser gcpdiag pour signaler l'état de l'agent Ops sur des VM individuelles ou sur l'ensemble de la flotte de VM de votre projet, en confirmant que l'agent est installé et qu'il envoie activement des journaux et des métriques. gcpdiag peut créer des rapports d'état dans plusieurs formats, y compris au format CSV ou JSON.

Voici un rapport sur l'état des agents au niveau du parc au format CSV :

🔎 gce/ERR/2024_004: Verify Ops Agent is installed on GCE VMs and is sending logs and metrics.

gce/ERR/2024_004,projects/my-project/zones/my-location/instances/instance-1,failed,Ops Agent not installed on the VM,https://gcpdiag.dev/rules/gce/ERR/2024_004
gce/ERR/2024_004,projects/my-project/zones/my-location/instances/instance-2,skipped,VM Manager is needed for the ops agent detection. Please enable it at: https://cloud.google.com/compute/docs/manage-os#automatic and run this check again.,https://gcpdiag.dev/rules/gce/ERR/2024_004
gce/ERR/2024_004,projects/my-project/zones/my-location/instances/instance-3,skipped,VM Manager is needed for the ops agent detection. Please enable it at: https://cloud.google.com/compute/docs/manage-os#automatic and run this check again.,https://gcpdiag.dev/rules/gce/ERR/2024_004
gce/ERR/2024_004,projects/my-project/zones/my-location/instances/instance-4,ok,"Ops Agent installed on the VM, and is successfully sending logs and metrics.",https://gcpdiag.dev/rules/gce/ERR/2024_004
gce/ERR/2024_004,projects/my-project/zones/my-location/instances/instance-5,ok,"Ops Agent installed on the VM, and is successfully sending logs and metrics.",https://gcpdiag.dev/rules/gce/ERR/2024_004

L'outil gcpdiag a été créé par l'assistance Google Cloud pour vous aider à diagnostiquer vous-même les problèmes courants de votre projet Google Cloud, y compris les problèmes liés à l'agent Ops. gcpdiag est un outil Open Source, et non un produit Google Cloud officiel, mais il est activement développé et géré par l'équipe d'assistance Google Cloud. Contribuez ou signalez des problèmes sur GitHub.

Avant de commencer

gcpdiag est intégré à Cloud Shell. Vous pouvez donc l'exécuter sans aucune installation requise. Pour exécuter gcpdiag, vous devez d'abord remplir les conditions préalables suivantes:

• Autorisation: gcpdiag utilise les identifiants par défaut de l'application (ADC) dans Cloud Shell pour s'authentifier.
  Assurez-vous que les identifiants utilisés avec gcpdiag disposent au minimum des rôles suivants sur le projet Google Cloud où l'agent Ops s'exécute:

  • Lecteur (roles/viewer)
  • Consommateur Service Usage (roles/serviceusage.serviceUsageConsumer)

• API: pour utiliser gcpdiag dans un projet, vous devez activer les API suivantes:

  • API Cloud Resource Manager : cloudresourcemanager.googleapis.com
  • API Identity and Access Management : iam.googleapis.com
  • API Cloud Logging : logging.googleapis.com
  • Service Usage: serviceusage.googleapis.com

  Pour activer ces API, exécutez la commande suivante dans Cloud Shell ou une autre ligne de commande:

   gcloud --project=PROJECT_ID services enable \
     cloudresourcemanager.googleapis.com \
     iam.googleapis.com \
     logging.googleapis.com \
     serviceusage.googleapis.com
  

• VM Manager: activez VM Manager au niveau de l'abonnement gratuit sur votre instance. Si vous avez installé l'agent Ops lors de la création de la VM ou si une règle d'agent gère l'installation de l'agent Ops sur vos instances de VM, vous avez déjà rempli les conditions requises pour VM Manager.

Exécuter gcpdiag

La commande gcpdiag à utiliser avec l'agent Ops a la syntaxe de base suivante:

gcpdiag lint --project=PROJECT_ID [--name=INSTANCE_NAME] --show-skipped --include=gce/err/2024_004 [--output=[CSV|JSON]]

• PROJECT_ID est l'ID du projet Google Cloud.
• INSTANCE_NAME est le nom de votre VM Compute Engine. Utilisez l'option --name pour interroger une VM spécifique. Omettre l'option pour interroger l'ensemble de la flotte.
• Utilisez l'option --output pour enregistrer le rapport dans un fichier au format CSV ou JSON. Ignorez l'option si vous ne souhaitez pas créer de fichier de sortie.

La valeur de l'option --include spécifie une ou plusieurs règles gcpdiag. gce/ERR/2024-004 est la règle de l'agent Ops. Pour en savoir plus sur la syntaxe de la commande gcpdiag, consultez gcpdiag : diagnostics pour Google Cloud Platform.

Par exemple, pour générer un rapport sur l'ensemble du parc pour le projet "my-project", exécutez la commande suivante :

gcpdiag lint --project=my-project --show-skipped --include=gce/ERR/2024_004

Le résultat se présente comme suit :

🔎 gce/ERR/2024_004: Verify Ops Agent is installed on GCE VMs and is sending logs and metrics.
  - my-project/instance-1                                                 [FAIL] Ops Agent not installed on the VM
  - my-project/instance-2                                                 [FAIL] Ops Agent not installed on the VM
  - my-project/instance-3                                                 [SKIP] Unable to confirm Ops Agent installation
  VM Manager is needed for the ops agent detection. Please enable it at: https://cloud.google.com/compute/docs/manage-os#automatic and run this check again.
  - my-project/instance-4                                            [FAIL] Ops Agent is installed, but it's failing to send both logs and metrics to Google Cloud.
  Is Ops Agent sending logs? (Yes)  Is Ops Agent sending metrics? (No)
  - my-project/instance-5                                                 [FAIL] Ops Agent is installed, but it's failing to send both logs and metrics to Google Cloud.
  Is Ops Agent sending logs? (No)   Is Ops Agent sending metrics? (No)
  - my-project/instance-6                                                 [ OK ] Ops Agent installed on the VM, and is successfully sending logs and metrics.
  - my-project/instance-7                                                 [ OK ] Ops Agent installed on the VM, and is successfully sending logs and metrics.

Pour générer un rapport pour l'instance "my-instance" dans le projet "my-project", exécutez la commande suivante:

gcpdiag lint  --project=my-project --name=my-instance --show-skipped --include=gce/err/2024_004

Le résultat se présente comme suit :

🔎 gce/ERR/2024_004: Verify Ops Agent is installed on GCE VMs and is sending logs and metrics.
  - my-project/my-instance   [ OK ] Ops Agent installed on the VM, and is successfully sending logs and metrics.

Si votre commande gcpdiag échoue et affiche un résultat semblable à celui-ci, vérifiez que vous remplissez toutes les conditions préalables pour exécuter l'outil.

WARNING:googleapiclient.http:Encountered 403 Forbidden with reason "PERMISSION_DENIED"
[ERROR]:can't access project my-project: Cloud Resource Manager API has not been used in project my-project before or it is disabled. Enable it by visiting https://console.developers.google.com/apis/api/cloudresourcemanager.googleapis.com/overview?project=my-project then retry. If you enabled this API recently, wait a few minutes for the action to propagate to our systems and retry..
[DEBUG]: An Http Error occurred whiles accessing projects.get

HttpError 403 when requesting https://cloudresourcemanager.googleapis.com/v3/projects/my-project?alt=json returned Cloud Resource Manager API has not been used in project my-project before or it is disabled. Enable it by visiting https://console.developers.google.com/apis/api/cloudresourcemanager.googleapis.com/overview?project=my-project then retry. If you enabled this API recently, wait a few minutes for the action to propagate to our systems and retry. Details: ...
[ERROR]:exiting program...
error getting project details

Interpréter la sortie de gcpdiag

Cette section fournit des informations pour vous aider à comprendre et à utiliser les rapports générés par gcpdiag.

La commande gcpdiag génère des rapports contenant les informations suivantes:

• Indicateur de la règle gcpdiag avec laquelle la commande a été appelée. Pour l'agent Ops, ces informations se présentent comme suit:
  🔎 gce/ERR/2024_004: Verify Ops Agent is installed on GCE VMs and is sending logs and metrics
• Identifiant du résultat pour une VM spécifique au format PROJECT_ID/INSTANCE_ID. Pour un rapport à l'échelle de la flotte, la sortie contient une entrée pour chaque VM. Pour un rapport sur une seule VM, la sortie ne contient qu'une seule entrée.
• État de la vérification. L'état doit être l'une des valeurs suivantes :
  • OK
  • FAIL
  • SKIP
• Description de la valeur d'état.

Les sections suivantes fournissent plus d'informations sur les valeurs d'état et leur signification.

État : OK

Un état OK signifie que l'agent Ops s'exécute sur la VM et envoie à la fois des journaux et des métriques depuis la VM. Le rapport inclut la description d'état suivante:
Ops Agent installed on the VM, and is successfully sending logs and metrics.

État : FAIL

Un état FAIL signifie que l'agent Ops n'est pas installé ou qu'il n'envoie pas à la fois des journaux et des métriques à partir de la VM. La description de l'état indique le problème détecté:

• Si l'Agent Ops n'est pas installé, la description d'état suivante s'affiche:
  Ops Agent not installed on the VM
• Si l'agent Ops n'envoie pas à la fois des journaux et des métriques à partir de la VM, une description d'état semblable à la suivante s'affiche:
  Agent is installed, but it's failing to send both logs and metrics to Google Cloud.
Is Ops Agent sending logs? (Yes) Is Ops Agent sending metrics? (No)

Si l'agent Ops n'est pas installé, installez-le. Si l'installation échoue, le problème peut être l'un des suivants:

• La VM n'est pas associée à un compte de service. Pour résoudre ce problème, associez un compte de service à la VM, puis réessayez d'installer l'agent Ops.
• L'un des anciens agents (l'agent Monitoring ou l'agent Logging) est déjà installé sur la VM. Pour résoudre ce problème, désinstallez les anciens agents, puis réessayez d'installer l'agent Ops.

Si l'Agent Ops n'envoie pas de journaux ni de métriques à partir de la VM, utilisez les vérifications d'état de l'agent pour les erreurs de temps de démarrage afin de déterminer et de corriger le problème.

État : SKIP

Un état SKIP signifie que gcpdiag n'a pas pu déterminer si l'agent Ops est installé sur la VM. Le rapport inclut la description d'état suivante:
Unable to confirm Ops Agent installation
  VM Manager is needed for the ops agent detection.
  Please enable it at: https://cloud.google.com/compute/docs/manage-os#automatic and run this check again.

Pour tester l'état de l'agent, gcpdiag doit s'exécuter sur votre VM avec VM Manager. Pour résoudre ce problème, installez le niveau gratuit de VM Manager sur votre instance. Après l'installation, attendez 15 minutes, puis réessayez d'exécuter la commande gcpdiag.

Vérifications de l'état de l'agent

La version 2.25.1 a introduit des vérifications d'état d'heure de début pour l'agent Ops. Lorsque l'agent Ops démarre, il effectue une série de vérifications pour vérifier s'il existe des conditions empêchant l'agent de s'exécuter correctement. Si l'agent détecte l'une des conditions, il consigne un message décrivant le problème. L'Agent Ops recherche les éléments suivants :

• Problèmes de connectivité
• Disponibilité des ports utilisés par l'agent pour rapporter des métriques lui-même
• Problèmes liés aux autorisations
• Disponibilité des API utilisées par l'agent pour écrire des journaux ou des métriques
• Problème dans la routine de vérification de l'état elle-même.

La version 2.37.0 a introduit des vérifications d'état de l'exécution pour l'agent Ops. Ces erreurs sont signalées à Cloud Logging et Error Reporting. Pour localiser les erreurs d'exécution, consultez la page Rechercher les erreurs d'exécution.

La version 2.46.0 a introduit le code LogPingOpsAgent informatif. Ce code ne représente pas une erreur. Pour en savoir plus, consultez la section Vérifier la réussite de la collecte de journaux.

Le tableau suivant répertorie chaque code de vérification d'état par ordre alphabétique et décrit leur signification. Les codes qui se terminent par la chaîne Err indiquent des erreurs. d'autres codes sont informatifs.

Rechercher les erreurs d'heure de début

À partir de la version 2.35.0, les informations de vérification d'état sont écrites dans le journal ops-agent-health par l'API Cloud Logging (les versions 2.33.0 et 2.34.0 utilisent ops-agent-health-checks). Ces informations sont également écrites dans un fichier health-checks.log comme suit :

• Linux : /var/log/google-cloud-ops-agent/health-checks.log
• Windows : C:\ProgramData\Google\Cloud Operations\Ops Agent\log\health-checks.log

Vous pouvez également afficher les messages de vérification d'état en interrogeant l'état du service de l'Agent Ops comme suit :

• Sous Linux, exécutez la commande suivante :

     sudo systemctl status google-cloud-ops-agent"*"
     

  Recherchez des messages tels que "[Ports Check] Result: PASS". Les autres résultats incluent "ERROR" et "FAIL".

• Sous Windows, utilisez la Visionneuse d'événements Windows. Recherchez les messages "Information", "Error" ou "Failure" associés au service google-cloud-ops-agent.

Après avoir résolu les problèmes, vous devez redémarrer l'agent. Les vérifications d'état sont exécutées au démarrage de l'agent. Vous devez donc redémarrer l'agent pour les relancer.

Rechercher les erreurs d'exécution

Les vérifications d'état de l'environnement d'exécution sont transmises à la fois à Cloud Logging et à Error Reporting. Si l'agent n'a pas démarré, mais a pu signaler des erreurs avant l'échec, des erreurs d'heure de début peuvent également apparaître.

Pour afficher les erreurs d'exécution de l'agent Ops dans Logging, procédez comme suit :

1. Dans la console Google Cloud, accédez à la page Explorateur de journaux.

   Accéder à l'explorateur de journaux

   Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

2. Saisissez la requête suivante, puis cliquez sur Exécuter la requête :
   

   log_id("ops-agent-health")

Pour afficher les erreurs d'exécution de l'agent Ops dans Error Reporting, procédez comme suit :

1. Dans la console Google Cloud, accédez à la page Error Reporting:

   Accéder à Error Reporting

   Vous pouvez également accéder à cette page à l'aide de la barre de recherche.

2. Pour afficher les erreurs de l'agent Ops, filtrez les erreurs pour Ops Agent.

Vérifier la réussite de la collecte de journaux

La version 2.46.0 de l'agent Ops a introduit la vérification d'état LogPingOpsAgent informative. Cette vérification écrit un message d'information dans ops-agent-health toutes les 10 minutes. Vous pouvez utiliser la présence de ces messages pour vérifier que l'agent Ops écrit des journaux en effectuant l'une des opérations suivantes :

• Recherchez les messages ping dans les journaux d'une VM spécifique à l'aide de l'explorateur de journaux.
• Vérifiez la valeur de la métrique log_entry_count d'une VM spécifique à l'aide de l'explorateur de métriques.
• Créez une règle d'alerte pour être informé si une VM spécifique ne met pas à jour la métrique log_entry_count.

Si l'une de ces options indique que les messages de journal ne sont pas ingérés, vous pouvez procéder comme suit :

• Recherchez les codes d'erreur indiquant des erreurs de démarrage ou des erreurs d'exécution.
• Déterminez si l'agent Ops est opérationnel.
• Exécutez le script de diagnostic de l'agent.

Pour vérifier l'état de l'Agent Ops sur une VM spécifique, vous devez disposer de l'ID d'instance de la VM. Pour trouver l'ID d'instance, procédez comme suit :

• Dans la console Google Cloud, accédez à la page Instances de VM :

  Accéder à la page Instances de VM

  Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Compute Engine.

• Cliquez sur le nom d'une instance de VM.
• Dans l'onglet Détails, localisez la section Informations générales. L'ID d'instance apparaît sous la forme d'une chaîne numérique. Utilisez cette chaîne pour la valeur INSTANCE_ID dans les sections suivantes.

Outil de diagnostic des agents pour les VM

L'outil de diagnostic des agents collecte des informations de débogage locales critiques à partir de vos VM pour tous les agents suivants : l'Agent Ops, l'ancien agent Logging et l'ancien agent Monitoring. Les informations de débogage incluent des informations sur le projet, les informations sur la VM, la configuration de l'agent, les journaux de l'agent, l'état du service de l'agent, des informations qui nécessitent généralement un travail manuel. L'outil vérifie également l'environnement de VM local pour s'assurer qu'il répond à certaines exigences pour que les agents fonctionnent correctement, par exemple la connectivité réseau et les autorisations requises.

Lorsque vous déposez une demande d'assistance pour un agent sur une VM, exécutez l'outil de diagnostic de l'agent et joignez les informations collectées à la demande. En fournissant ces informations, vous réduisez le temps nécessaire pour résoudre votre demande d'assistance. Avant de joindre les informations à la demande d'assistance, masquez toutes les informations sensibles telles que les mots de passe.

L'outil de diagnostic de l'agent doit être exécuté à partir de la VM. Vous devez donc tout d'abord généralement vous connecter en SSH à la VM. La commande suivante récupère l'outil de diagnostic de l'agent et l'exécute :

Linux

curl -sSO https://dl.google.com/cloudagents/diagnose-agents.sh
sudo bash diagnose-agents.sh

Windows

(New-Object Net.WebClient).DownloadFile("https://dl.google.com/cloudagents/diagnose-agents.ps1", "${env:UserProfile}\diagnose-agents.ps1")
Invoke-Expression "${env:UserProfile}\diagnose-agents.ps1"

Suivez le résultat de l'exécution du script pour localiser les fichiers contenant les informations collectées. Généralement, vous les trouverez dans le répertoire /var/tmp/google-agents sous Linux et dans le répertoire $env:LOCALAPPDATA/Temp sous Windows, sauf si vous avez personnalisé le répertoire de sortie lors de l'exécution du script.

Pour obtenir des informations détaillées, examinez le script diagnose-agents.sh sous Linux ou le script diagnose-agents.ps1 sous Windows.

Outil de diagnostic de l'agent pour les règles d'installation automatique

Si une tentative d'installation de l'Agent Ops à l'aide d'une règle d'OS d'Agent Ops échoue, vous pouvez utiliser le script de diagnostic décrit dans cette section pour le résoudre le problème. Par exemple, vous pouvez rencontrer l'un des cas suivants :

• L'installation de l'Agent Ops échoue lorsque vous cochez la case Installer l'Agent Ops pour Monitoring et Logging pour installer l'Agent Ops lors de la création de la VM.

• L'état de l'agent sur le tableau de bord Instances de VM Cloud Monitoring ou sur l'onglet Observabilité de la page d'informations de la VM Compute Engine reste dans l'état En attente pendant plus de 10 minutes. Un état prolongé En attente peut indiquer l'un des éléments suivants :

  • Un problème lors de l'application de la règle
  • Un problème lors de l'installation de l'Agent Ops
  • Un problème de connectivité entre la VM et Cloud Monitoring

  Pour certains de ces problèmes, le script de diagnostic des agents et les vérifications d'état de base peuvent également être utiles.

Pour exécuter le script de diagnostic des règles, exécutez les commandes suivantes :

curl -sSO https://dl.google.com/cloudagents/diagnose-ui-policies.sh
bash diagnose-ui-policies.sh VM_NAME VM_ZONE

Ce script affiche les informations sur les VM concernées et les règles d'installation automatique associées.

Lorsque vous déposez une demande d'assistance pour un agent sur une VM, exécutez les outils de diagnostic de l'agent et joignez les informations collectées à la demande. En fournissant ces informations, vous réduisez le temps nécessaire pour résoudre votre demande d'assistance. Avant de joindre les informations à la demande d'assistance, masquez toutes les informations sensibles telles que les mots de passe.

Journaux automatiques de l'agent

Si l'agent ne parvient pas à ingérer les journaux dans Cloud Logging, vous devrez peut-être inspecter les journaux de l'agent localement sur la VM pour le dépannage. Vous pouvez également utiliser la rotation des journaux pour gérer les journaux automatiques de l'agent.

Linux

Pour inspecter les journaux automatiques écrits dans Journald, exécutez la commande suivante :

journalctl -u google-cloud-ops-agent*

Pour inspecter les journaux automatiques écrits sur le disque par le module de journalisation, exécutez la commande suivante :

vim -M /var/log/google-cloud-ops-agent/subagents/logging-module.log

Windows

Pour inspecter les journaux automatiques écrits dans Windows Event Logs, exécutez la commande suivante :

Get-WinEvent -FilterHashtable @{ Logname='Application'; ProviderName='google-cloud-ops-agent*' } | Format-Table -AutoSize -Wrap

Pour inspecter les journaux automatiques écrits sur le disque par le module de journalisation, exécutez la commande suivante :

notepad "C:\ProgramData\Google\Cloud Operations\Ops Agent\log\logging-module.log"

Pour inspecter les journaux à partir du Windows Service Control Manager pour les services de l'Agent Ops, exécutez la commande suivante :

Get-WinEvent -FilterHashtable @{ Logname='System'; ProviderName='Service Control Manager' } | Where-Object -Property Message -Match 'Google Cloud Ops Agent' | Format-Table -AutoSize -Wrap

Afficher les données d'utilisation et de diagnostic des métriques dans Cloud Monitoring

La page Gestion des métriques de Cloud Monitoring fournit des informations qui peuvent vous aider à contrôler les sommes que vous consacrez aux métriques facturables, sans affecter l'observabilité. La page Gestion des métriques fournit les informations suivantes :

• Les volumes d'ingestion pour la facturation à base d'octets et celle à base d'exemples, englobant les différents domaines de métriques et des métriques individuelles
• Les données sur les libellés et la cardinalité des métriques
• Nombre de lectures pour chaque métrique.
• L'utilisation de métriques dans les règles d'alerte et les tableaux de bord personnalisés
• Les taux d'erreurs d'écriture de métriques

Vous pouvez également utiliser la gestion des métriques pour exclure les métriques inutiles, ce qui élimine le coût de leur ingestion.

Procédez comme suit pour afficher la page Gestion des métriques :

1. Dans la console Google Cloud, accédez à la page query_stats Gestion des métriques :

   Accédez à la page Gestion des métriques

   Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Monitoring.

2. Dans la barre d'outils, sélectionnez votre période. Par défaut, la page Gestion des métriques affiche des informations sur les métriques collectées au cours du jour précédent.

Pour en savoir plus sur la page Gestion des métriques, consultez la section Afficher et gérer l'utilisation des métriques.