Trovare informazioni sulla risoluzione dei problemi di Ops Agent

Questo documento descrive le origini delle informazioni di diagnostica che puoi utilizzare per identificare i problemi di installazione o esecuzione di Ops Agent.

Verificare lo stato dell'agente utilizzando gcpdiag

Puoi utilizzare gcpdiag per segnalare lo stato dell'Ops Agent sulle singole VM o sull'intero parco macchine virtuali all'interno del tuo progetto, confermando che l'agente è installato e invia attivamente log e metriche. gcpdiag può creare report sullo stato in diversi formati, tra cui CSV o JSON.

Di seguito è riportato un report sullo stato degli agenti a livello di flotta in formato CSV:

🔎 gce/ERR/2024_004: Verify Ops Agent is installed on GCE VMs and is sending logs and metrics.

gce/ERR/2024_004,projects/my-project/zones/my-location/instances/instance-1,failed,Ops Agent not installed on the VM,https://gcpdiag.dev/rules/gce/ERR/2024_004
gce/ERR/2024_004,projects/my-project/zones/my-location/instances/instance-2,skipped,VM Manager is needed for the ops agent detection. Please enable it at: https://cloud.google.com/compute/docs/manage-os#automatic and run this check again.,https://gcpdiag.dev/rules/gce/ERR/2024_004
gce/ERR/2024_004,projects/my-project/zones/my-location/instances/instance-3,skipped,VM Manager is needed for the ops agent detection. Please enable it at: https://cloud.google.com/compute/docs/manage-os#automatic and run this check again.,https://gcpdiag.dev/rules/gce/ERR/2024_004
gce/ERR/2024_004,projects/my-project/zones/my-location/instances/instance-4,ok,"Ops Agent installed on the VM, and is successfully sending logs and metrics.",https://gcpdiag.dev/rules/gce/ERR/2024_004
gce/ERR/2024_004,projects/my-project/zones/my-location/instances/instance-5,ok,"Ops Agent installed on the VM, and is successfully sending logs and metrics.",https://gcpdiag.dev/rules/gce/ERR/2024_004

Lo strumento gcpdiag è stato creato dall'assistenza Google Cloud per aiutarti a eseguire la diagnosi autonoma dei problemi comuni nel tuo progetto Google Cloud, inclusi i problemi relativi all'agente Ops. gcpdiag è uno strumento open source, non un prodotto Google Cloud ufficiale, ma viene sviluppato e gestito attivamente dal team di assistenza Google Cloud. Contribuisci o segnala i problemi su GitHub.

Prima di iniziare

gcpdiag è integrato con Cloud Shell, quindi puoi eseguirlo senza alcuna installazione. Per eseguire gcpdiag, devi prima soddisfare i seguenti prerequisiti:

• Autorizzazione: gcpdiag utilizza le credenziali predefinite dell'applicazione (ADC) in Cloud Shell per l'autenticazione.
  Assicurati che le credenziali utilizzate con gcpdiag abbiano almeno i seguenti ruoli nel progetto Google Cloud in cui è in esecuzione Ops Agent:

  • Visualizzatore (roles/viewer)
  • Consumer utilizzo dei servizi (roles/serviceusage.serviceUsageConsumer)

• API: per utilizzare gcpdiag in un progetto, devono essere attivate le seguenti API:

  • API Cloud Resource Manager: cloudresourcemanager.googleapis.com
  • API Identity and Access Management: iam.googleapis.com
  • API Cloud Logging: logging.googleapis.com
  • Service Usage: serviceusage.googleapis.com

  Per abilitare queste API, esegui il comando seguente in Cloud Shell o in un'altra riga di comando:

   gcloud --project=PROJECT_ID services enable \
     cloudresourcemanager.googleapis.com \
     iam.googleapis.com \
     logging.googleapis.com \
     serviceusage.googleapis.com
  

• VM Manager: attiva VM Manager nel livello gratuito della tua istanza. Se hai installato Ops Agent durante la creazione della VM o se un criterio dell'agente gestisce l' installazione di Ops Agent sulle tue istanze VM, hai già soddisfatto i requisiti per VM Manager.

Esegui gcpdiag

Il comando gcpdiag da utilizzare con Ops Agent ha la seguente sintassi di base:

gcpdiag lint --project=PROJECT_ID [--name=INSTANCE_NAME] --show-skipped --include=gce/err/2024_004 [--output=[CSV|JSON]]

• PROJECT_ID è l'ID del tuo progetto Google Cloud.
• INSTANCE_NAME è il nome della VM Compute Engine. Utilizza l'opzione --name per eseguire una query su una VM specifica; ometti l'opzione per eseguire una query sull'intero parco.
• Utilizza l'opzione --output per salvare il report in un file in formato CSV o JSON. Ometti l'opzione se non vuoi un file di output.

Il valore dell'opzione --include specifica una o più regole gcpdiag; gce/ERR/2024-004 è la regola per l'Ops Agent. Per ulteriori informazioni sulla sintassi del comando gcpdiag, consulta gcpdiag - Diagnostica per la piattaforma Google Cloud.

Ad esempio, per generare un report per l'intero parco per il progetto "my-project", esegui il seguente comando:

gcpdiag lint --project=my-project --show-skipped --include=gce/ERR/2024_004

L'output è simile al seguente:

🔎 gce/ERR/2024_004: Verify Ops Agent is installed on GCE VMs and is sending logs and metrics.
  - my-project/instance-1                                                 [FAIL] Ops Agent not installed on the VM
  - my-project/instance-2                                                 [FAIL] Ops Agent not installed on the VM
  - my-project/instance-3                                                 [SKIP] Unable to confirm Ops Agent installation
  VM Manager is needed for the ops agent detection. Please enable it at: https://cloud.google.com/compute/docs/manage-os#automatic and run this check again.
  - my-project/instance-4                                            [FAIL] Ops Agent is installed, but it's failing to send both logs and metrics to Google Cloud.
  Is Ops Agent sending logs? (Yes)  Is Ops Agent sending metrics? (No)
  - my-project/instance-5                                                 [FAIL] Ops Agent is installed, but it's failing to send both logs and metrics to Google Cloud.
  Is Ops Agent sending logs? (No)   Is Ops Agent sending metrics? (No)
  - my-project/instance-6                                                 [ OK ] Ops Agent installed on the VM, and is successfully sending logs and metrics.
  - my-project/instance-7                                                 [ OK ] Ops Agent installed on the VM, and is successfully sending logs and metrics.

Per generare un report per l'istanza "my-instance" nel progetto "my-project", esegui il seguente comando:

gcpdiag lint  --project=my-project --name=my-instance --show-skipped --include=gce/err/2024_004

L'output è simile al seguente:

🔎 gce/ERR/2024_004: Verify Ops Agent is installed on GCE VMs and is sending logs and metrics.
  - my-project/my-instance   [ OK ] Ops Agent installed on the VM, and is successfully sending logs and metrics.

Se il comando gcpdiag non va a buon fine e l'output è simile al seguente, verifica di aver soddisfatto tutti i prerequisiti per l'esecuzione dello strumento.

WARNING:googleapiclient.http:Encountered 403 Forbidden with reason "PERMISSION_DENIED"
[ERROR]:can't access project my-project: Cloud Resource Manager API has not been used in project my-project before or it is disabled. Enable it by visiting https://console.developers.google.com/apis/api/cloudresourcemanager.googleapis.com/overview?project=my-project then retry. If you enabled this API recently, wait a few minutes for the action to propagate to our systems and retry..
[DEBUG]: An Http Error occurred whiles accessing projects.get

HttpError 403 when requesting https://cloudresourcemanager.googleapis.com/v3/projects/my-project?alt=json returned Cloud Resource Manager API has not been used in project my-project before or it is disabled. Enable it by visiting https://console.developers.google.com/apis/api/cloudresourcemanager.googleapis.com/overview?project=my-project then retry. If you enabled this API recently, wait a few minutes for the action to propagate to our systems and retry. Details: ...
[ERROR]:exiting program...
error getting project details

Interpreta l'output di gcpdiag

Questa sezione fornisce informazioni utili per comprendere e utilizzare i report generati da gcpdiag.

Il comando gcpdiag genera report contenenti le seguenti informazioni:

• Un indicatore della regola gcpdiag con cui è stato invocato il comando. Per l'Ops Agent, queste informazioni hanno il seguente aspetto:
  🔎 gce/ERR/2024_004: Verify Ops Agent is installed on GCE VMs and is sending logs and metrics
• Un identificatore del risultato per una VM specifica con il formato PROJECT_ID/INSTANCE_ID. Per un report per l'intero parco, l'output contiene una voce per ogni VM. Per un report su una singola VM, l'output contiene una singola voce.
• Lo stato del controllo. Lo stato ha uno dei seguenti valori:
  • OK
  • FAIL
  • SKIP
• Una descrizione del valore dello stato.

Le sezioni seguenti forniscono ulteriori informazioni sui valori di stato e sul loro significato.

Stato: OK

Uno stato OK indica che l'Ops Agent è in esecuzione sulla VM e invia sia i log sia le metriche dalla VM. Il report include la seguente descrizione dello stato:
Ops Agent installed on the VM, and is successfully sending logs and metrics.

Stato: FAIL

Uno stato FAIL indica che Ops Agent non è installato o non invia sia i log sia le metriche dalla VM. La descrizione dello stato indica quale problema è stato rilevato:

• Se Ops Agent non è installato, viene visualizzata la seguente descrizione dello stato:
  Ops Agent not installed on the VM
• Se Ops Agent non invia sia i log sia le metriche dalla VM, viene visualizzata una descrizione dello stato come la seguente:
  Agent is installed, but it's failing to send both logs and metrics to Google Cloud.
Is Ops Agent sending logs? (Yes) Is Ops Agent sending metrics? (No)

Se Ops Agent non è installato, installalo. Se l'installazione non va a buon fine, il problema potrebbe essere uno dei seguenti:

• La VM non ha un account di servizio associato. Per risolvere il problema, collega un account di servizio alla VM, quindi prova nuovamente a installare Ops Agent.
• Nella VM è già installato uno degli agenti legacy (l'agente Monitoring o l'agente Logging). Per risolvere il problema, disinstalla gli agenti precedenti, quindi prova a reinstallare l'agente operativo.

Se Ops Agent non invia log o metriche dalla VM, utilizza i controlli di integrità dell'agente per gli errori relativi all'ora di inizio per determinare e correggere il problema.

Stato: SKIP

Uno stato SKIP indica che gcpdiag non è stato in grado di determinare se l'Ops Agent è installato sulla VM. Il report include la seguente descrizione dello stato:
Unable to confirm Ops Agent installation
  VM Manager is needed for the ops agent detection.
  Please enable it at: https://cloud.google.com/compute/docs/manage-os#automatic and run this check again.

Per testare lo stato dell'agente, gcpdiag deve essere eseguito su VM Manager. Per risolvere il problema, installa il livello gratuito di VM Manager sull'istanza. Dopo l'installazione, attendi 15 minuti e riprova a eseguire il comando gcpdiag.

Controlli di integrità dell'agente

La versione 2.25.1 ha introdotto i controlli di integrità dell'ora di inizio per l'Ops Agent. Quando viene avviato, Ops Agent esegue una serie di controlli per rilevare condizioni che impediscono il corretto funzionamento dell'agente. Se l'agente rileva una delle condizioni, registra un messaggio che descrive il problema. L'agente Ops controlla quanto segue:

• Problemi di connettività
• Disponibilità delle porte utilizzate dall'agente per generare report sulle proprie metriche
• Problemi di autorizzazione
• Disponibilità delle API utilizzate dall'agente per scrivere log o metriche
• Un problema nella routine di controllo di integrità stessa.

La versione 2.37.0 ha introdotto i controlli di integrità di runtime per l'Ops Agent. Questi errori vengono segnalati a Cloud Logging ed Error Reporting. Per informazioni su come individuare gli errori di runtime, consulta Trovare gli errori di runtime.

La versione 2.46.0 ha introdotto il codice informativoLogPingOpsAgent. Questo codice non rappresenta un errore. Per ulteriori informazioni, consulta Verificare la raccolta dei log.

La tabella seguente elenca ogni codice di controllo dell'integrità in ordine alfabetico e descrive il significato di ciascun codice. I codici che terminano con la stringa Err indicano errori; gli altri codici sono informativi.

Trovare gli errori relativi all'ora di inizio

A partire dalla versione 2.35.0, le informazioni relative al controllo di stato vengono scritte nel log ops-agent-health dall'API Cloud Logging (le versioni 2.33.0 e 2.34.0 utilizzano ops-agent-health-checks). Le stesse informazioni vengono scritte anche in un file health-checks.log come segue:

• Linux: /var/log/google-cloud-ops-agent/health-checks.log
• Windows: C:\ProgramData\Google\Cloud Operations\Ops Agent\log\health-checks.log

Puoi anche visualizzare eventuali messaggi di controllo di integrità eseguendo una query sullo stato del servizio Ops Agent nel seguente modo:

• Su Linux, esegui il seguente comando:

     sudo systemctl status google-cloud-ops-agent"*"
     

  Cerca messaggi come "[Controllo porte] Risultato: PASS". Altri risultati includono "ERROR" e "FAIL".

• Su Windows, utilizza il Visualizzatore eventi di Windows. Cerca i messaggi "Informazioni", "Errore" o "Errore" associati al servizio google-cloud-ops-agent.

Una volta risolti gli eventuali problemi, devi riavviare l'agente. I controlli di integrità vengono eseguiti all'avvio dell'agente, quindi per eseguirli di nuovo devi riavviare l'agente.

Trovare gli errori di runtime

I controlli di integrità di runtime vengono segnalati sia a Cloud Logging sia a Error Reporting. Se l'avvio dell'agente non è riuscito, ma è stato in grado di segnalare errori prima del fallimento, potresti anche visualizzare errori relativi all'ora di inizio.

Per visualizzare gli errori di runtime di Ops Agent in Logging, segui questi passaggi:

1. Nella console Google Cloud, vai alla pagina Esplora log:

   Vai a Esplora log

   Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

2. Inserisci la seguente query e fai clic su Esegui query:
   

   log_id("ops-agent-health")

Per visualizzare gli errori di runtime di Ops Agent in Error Reporting: segui questi passaggi:

1. Nella console Google Cloud, vai alla pagina Error Reporting:

   Vai a Error Reporting

   Puoi trovare questa pagina anche utilizzando la barra di ricerca.

2. Per visualizzare gli errori di Ops Agent, filtra gli errori per Ops Agent.

Verificare la raccolta dei log

La versione 2.46.0 dell'Ops Agent ha introdotto il controllo di integrità LogPingOpsAgent informativo. Questo controllo scrive un messaggio informativo in ops-agent-health ogni 10 minuti. Puoi utilizzare la presenza di questi messaggi per verificare che Ops Agent stia scrivendo i log eseguendo una delle seguenti operazioni:

• Cerca i messaggi di ping nei log di una VM specifica utilizzando Esplora log.
• Controlla il valore della metrica log_entry_count per una VM specifica utilizzando Metrics Explorer.
• Crea un criterio di avviso per ricevere una notifica se una VM specifica non aggiorna la metrica log_entry_count.

Se una di queste opzioni indica che i messaggi di log non vengono acquisiti, puoi procedere nel seguente modo:

• Controlla se sono presenti codici di errore che indicano errori di avvio o errori di runtime.
• Determina se l'Ops Agent è in esecuzione.
• Esegui lo script di diagnostica dell'agente.

Per controllare lo stato dell'Ops Agent su una VM specifica, devi disporre dell'ID istanza della VM. Per trovare l'ID istanza:

• Nella console Google Cloud, vai alla pagina Istanze VM:

  Vai a Istanze VM

  Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Compute Engine.

• Fai clic sul nome di un'istanza VM.
• Nella scheda Dettagli, individua la sezione Informazioni di base. L'ID istanza viene visualizzato come stringa numerica. Utilizza questa stringa per il valore INSTANCE_ID nelle sezioni successive.

Strumento di diagnostica dell'agente per le VM

Lo strumento di diagnostica dell'agente raccoglie informazioni di debug locali critiche dalle tue VM per tutti i seguenti agenti: Ops Agent, agente Logging legacy e agente Monitoring legacy. Le informazioni di debug includono, ad esempio, informazioni sul progetto, sulla VM, sulla configurazione dell'agente, sui log dell'agente, sullo stato del servizio dell'agente e informazioni che in genere richiedono un intervento manuale per essere raccolte. Lo strumento controlla anche l'ambiente VM locale per verificare che soddisfi determinati requisiti per il corretto funzionamento degli agenti, ad esempio la connettività di rete e le autorizzazioni richieste.

Quando apri una richiesta per un cliente per un agente su una VM, esegui lo strumento di diagnostica dell'agente e allega le informazioni raccolte alla richiesta. Fornendo queste informazioni, riduci il tempo necessario per risolvere la tua richiesta di assistenza. Prima di allegare le informazioni alla richiesta di assistenza, oscura tutte le informazioni sensibili come le password.

Lo strumento di diagnostica dell'agente deve essere eseguito dall'interno della VM, pertanto in genere dovrai prima connetterti alla VM tramite SSH. Il seguente comando recupera lo strumento di diagnostica dell'agente ed esegue:

Linux

curl -sSO https://dl.google.com/cloudagents/diagnose-agents.sh
sudo bash diagnose-agents.sh

Windows

(New-Object Net.WebClient).DownloadFile("https://dl.google.com/cloudagents/diagnose-agents.ps1", "${env:UserProfile}\diagnose-agents.ps1")
Invoke-Expression "${env:UserProfile}\diagnose-agents.ps1"

Segui l'output dell'esecuzione dello script per individuare i file che includono le informazioni raccolte. In genere puoi trovarli nella directory /var/tmp/google-agents su Linux e nella directory $env:LOCALAPPDATA/Temp su Windows, a meno che tu non abbia personalizzato la directory di output durante l'esecuzione dello script.

Per informazioni dettagliate, esamina lo script diagnose-agents.sh su Linux o lo script diagnose-agents.ps1 su Windows.

Strumento di diagnostica dell'agente per i criteri di installazione automatica

Se un tentativo di installare Ops Agent utilizzando un criterio del sistema operativo di Ops Agent non va a buon fine, puoi utilizzare lo script di diagnostica descritto in questa sezione per il debug. Ad esempio, potresti visualizzare uno dei seguenti casi:

• L'installazione di Ops Agent non va a buon fine se hai utilizzato la casella di controllo Installa Ops Agent per il monitoraggio e il logging per installare Ops Agent durante la creazione della VM.

• Lo stato dell'agente nella dashboard delle istanze VM di Cloud Monitoring o nella scheda Osservabilità nella pagina dei dettagli di una VM Compute Engine rimane nello stato Pending (In attesa) per più di 10 minuti. Uno stato In attesa prolungato potrebbe indicare uno dei seguenti casi:

  • Si è verificato un problema durante l'applicazione del criterio.
  • Un problema nell'installazione effettiva di Ops Agent.
  • Un problema di connettività tra la VM e Cloud Monitoring.

  Per alcuni di questi problemi, potrebbero essere utili anche lo script di diagnostica dell'agente e i controlli di salute.

Per eseguire lo script di diagnostica dei criteri, esegui i seguenti comandi:

curl -sSO https://dl.google.com/cloudagents/diagnose-ui-policies.sh
bash diagnose-ui-policies.sh VM_NAME VM_ZONE

Questo script mostra informazioni sulle VM interessate e sui relativi criteri di installazione automatica.

Quando apri una richiesta per un cliente per un agente su una VM, esegui gli strumenti di diagnostica dell'agente e allega le informazioni raccolte alla richiesta. Fornendo queste informazioni, riduci il tempo necessario per risolvere la tua richiesta di assistenza. Prima di allegare le informazioni alla richiesta di assistenza, oscura tutte le informazioni sensibili come le password.

Log dell'agente

Se l'agente non riesce a importare i log in Cloud Logging, potresti dover esaminare i log dell'agente localmente sulla VM per la risoluzione dei problemi. Puoi anche utilizzare la rotazione dei log per gestire i log dell'agente.

Linux

Per controllare i log di autoanalisi scritti in Journald, esegui il seguente comando:

journalctl -u google-cloud-ops-agent*

Per controllare i log di autolog che vengono scritti sul disco dal modulo di registrazione, esegui il seguente comando:

vim -M /var/log/google-cloud-ops-agent/subagents/logging-module.log

Windows

Per controllare i log di autoanalisi scritti in Windows Event Logs, esegui il seguente comando:

Get-WinEvent -FilterHashtable @{ Logname='Application'; ProviderName='google-cloud-ops-agent*' } | Format-Table -AutoSize -Wrap

Per controllare i log di autolog che vengono scritti sul disco dal modulo di registrazione, esegui il seguente comando:

notepad "C:\ProgramData\Google\Cloud Operations\Ops Agent\log\logging-module.log"

Per controllare i log dei servizi Windows Service Control Manager per Ops Agent, esegui il seguente comando:

Get-WinEvent -FilterHashtable @{ Logname='System'; ProviderName='Service Control Manager' } | Where-Object -Property Message -Match 'Google Cloud Ops Agent' | Format-Table -AutoSize -Wrap

Visualizzare l'utilizzo delle metriche e la diagnostica in Cloud Monitoring

La pagina Gestione delle metriche di Cloud Monitoring fornisce informazioni che possono aiutarti a controllare la spesa per le metriche fatturabili senza influire sull'osservabilità. La pagina Gestione delle metriche riporta le seguenti informazioni:

• Volumi di importazione sia per la fatturazione basata su byte che su sample, per i domini delle metriche e per le singole metriche.
• Dati su etichette e cardinalità delle metriche.
• Numero di letture per ogni metrica.
• Utilizzo delle metriche nei criteri di avviso e nelle dashboard personalizzate.
• Tasso di errori di scrittura delle metriche.

Puoi anche utilizzare la gestione delle metriche per escludere le metriche non necessarie, eliminando il costo di importazione.

Per visualizzare la pagina Gestione delle metriche:

1. Nella console Google Cloud, vai alla pagina query_stats Gestione delle metriche:

   Vai a Gestione delle metriche

   Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Monitoring.

2. Nella barra degli strumenti, seleziona l'intervallo di tempo. Per impostazione predefinita, la pagina Gestione delle metriche mostra informazioni sulle metriche raccolte nell'ultimo giorno.

Per ulteriori informazioni sulla pagina Gestione delle metriche, consulta Visualizzare e gestire l'utilizzo delle metriche.