Logging e monitoraggio del bilanciatore del carico di rete passthrough esterno

Questo documento mostra come configurare e utilizzare Cloud Logging e Cloud Monitoring per i bilanciatori del carico di rete pass-through esterni.

I bilanciatori del carico di rete passthrough esterni basati sui servizi di backend supportano sia il logging che il monitoraggio. Tuttavia, i bilanciatori del carico di rete passthrough esterni basati su pool di destinazione supportano solo il monitoraggio.

Logging

I log forniscono informazioni utili per la risoluzione dei problemi e il monitoraggio del bilanciatore del carico di rete passthrough esterno basato suiservizio di backendd. I log vengono aggregati per connessione ed esportati quasi in tempo reale. I log vengono generati per i flussi TCP, UDP, ESP, GRE, ICMP e ICMPv6 di ogni istanza con bilanciamento del carico sia per il traffico in entrata che in uscita. Per saperne di più sui campi forniti nella voce di log, consulta Campi di log.

Non vengono addebitati costi aggiuntivi per l'utilizzo dei log. A seconda di come importi i log, si applicano prezzi standard per Cloud Logging, BigQuery o Pub/Sub. L'attivazione dei log non influisce sulle prestazioni del bilanciatore del carico.

La registrazione offre i seguenti vantaggi:

• Monitoraggio del traffico del bilanciatore del carico di rete passthrough esterno. La registrazione per connessione ti consente di capire in che modo ogni connessione viene instradata ai backend di gestione.

• Risoluzione dei problemi di rete. Puoi utilizzare i log del bilanciatore del carico di rete passthrough esterno per la risoluzione dei problemi. Per ulteriori informazioni, consulta la pagina Risolvere i problemi relativi ai bilanciatori del carico di rete passthrough esterni.

Formato del log di esempio per i flussi da un client esterno alla VM

Il seguente diagramma mostra il traffico in entrata e in uscita per un client esterno (203.0.113.7), un bilanciatore del carico di rete passthrough esterno (198.51.100.99) e un'istanza di backend (10.240.0.2).

I log del bilanciatore del carico di rete passthrough esterno per le connessioni dal client all'istanza di backend sono formattati nel seguente modo:

• connection.clientIp: 203.0.113.7
• connection.serverIp: 198.51.100.99
• bytesSent: 1256
• bytesReceived: 4521

Campionamento e raccolta dei log

Google Cloud campiona i pacchetti che escono ed entrano nelle VM di backend del bilanciatore del carico. I pacchetti campionati vengono elaborati per generare i log.

Non tutti i pacchetti vengono campionati. Google Cloud campiona un sottoinsieme variabile di pacchetti a seconda della quantità di traffico sull'host fisico. La frequenza di campionamento più bassa possibile è di un pacchetto su 1024. La frequenza di campionamento è controllata dinamicamente da Google Cloud. Non puoi regolare la frequenza di campionamento.

Il campionamento dei pacchetti interagisce con le regole firewall nei seguenti modi:

• I pacchetti vengono campionati prima dell'applicazione delle regole firewall di uscita.
• I pacchetti vengono campionati dopo l'applicazione delle regole firewall in entrata.

Dopo il campionamento dei pacchetti, Google Cloud elabora i pacchetti campionati secondo la seguente procedura:

1. Aggregazione:i pacchetti campionati vengono aggregati in un intervallo di cinque secondi per produrre una singola voce di flusso.

2. Campionamento (secondario) configurabile dei log: si tratta di un secondo processo di campionamento, che campiona i flussi. Controlli la frazione delle voci di flusso emesse come voci di log in base al parametro logConfig.sampleRate. Quando logConfig.sampleRate è 1.0 (100%), significa che vengono elaborati tutti i pacchetti campionati.

3. Scrittura in Logging:le voci di log vengono scritte in Cloud Logging.

Campi facoltativi

I record di log contengono campi obbligatori e facoltativi. La sezione Campi log elenca i campi facoltativi e quelli obbligatori. Tutti i campi obbligatori sono sempre inclusi. Puoi personalizzare i campi facoltativi da conservare.

• Se selezioni Includi tutti i campi facoltativi, tutti i campi facoltativi nel formato del record di log vengono inclusi nei log di flusso. Quando vengono aggiunti nuovi campi facoltativi al formato del record, i log di flusso includono automaticamente i nuovi campi.

• Se selezioni Escludi tutti i campi facoltativi, tutti i campi facoltativi vengono omessi.

• Se selezioni Personalizzato, puoi specificare i campi facoltativi che vuoi includere in base al campo principale, ad esempio serverInstance, o in base ai loro nomi completi, ad esempio serverInstance.vm.

Quando vengono aggiunti nuovi campi facoltativi al formato del record, i log non includono questi campi, a meno che non si tratti di un nuovo campo all'interno di un campo principale che hai specificato di includere.

Se specifichi un campo facoltativo personalizzato utilizzando i campi principali, quando vengono aggiunti nuovi campi facoltativi al formato del record all'interno di quel campo principale, i log includeranno automaticamente i nuovi campi. Ad esempio, se scegli di includere optionalFieldA, un nuovo campo aggiunto ai log con il nome optionalFieldA.subField1 verrà incluso automaticamente.

Per istruzioni sulla personalizzazione dei campi facoltativi, vedi Abilitare la registrazione su un nuovo servizio di backend.

Requisiti per l'indirizzo IP di origine del pacchetto di risposta

La registrazione campiona i pacchetti di risposta dalle VM di backend solo se l'indirizzo IP di origine di questi pacchetti corrisponde all'indirizzo IP della regola di forwarding del bilanciatore del carico. Per le connessioni TCP, i pacchetti di risposta devono sempre avere origini che corrispondono alla destinazione del pacchetto di richiesta; tuttavia, per altri protocolli, è possibile che i pacchetti di risposta utilizzino un indirizzo IP di origine diverso. Per maggiori informazioni, consulta la sezione Indirizzi IP per pacchetti di richiesta e restituzione.

Il processo di campionamento dei pacchetti utilizzato dalla registrazione del bilanciatore del carico di rete passthrough esterno omette tutti i pacchetti di risposta dalle VM di backend se le origini di questi pacchetti di risposta non corrispondono a un indirizzo IP di una regola di forwarding per un bilanciatore del carico di rete passthrough esterno.

Abilita il logging su un nuovo servizio di backend

    gcloud compute backend-services create BACKEND_SERVICE \
      --region=REGION \
      --enable-logging \
      --logging-sample-rate=SAMPLE_RATE \
      --logging-optional=LOGGING_OPTIONAL \
      --logging-optional-fields=OPTIONAL_FIELDS
    

    POST https://compute.googleapis.com/compute/v1/projects/`PROJECT_ID`/regions/`REGION`/backendServices
    

    {
    "name": "BACKEND_SERVICE",
    "loadBalancingScheme": "EXTERNAL",
    "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE
      }
    }
    

    {
    "name": "BACKEND_SERVICE",
    "loadBalancingScheme": "EXTERNAL",
    "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE,
       "optionalMode": "INCLUDE_ALL_OPTIONAL"
      }
    }
    

    {
    "name": "BACKEND_SERVICE",
    "loadBalancingScheme": "EXTERNAL",
    "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE,
       "optionalMode": "CUSTOM",
       "optionalFields": ["field1","field2",...]
      }
    }
    

Abilitare il logging su un servizio di backend esistente

    gcloud compute backend-services update BACKEND_SERVICE \
      --region=REGION \
      --enable-logging \
      --logging-sample-rate=SAMPLE_RATE \
      --logging-optional=LOGGING_OPTIONAL \
      --logging-optional-fields=OPTIONAL_FIELDS
    

      PATCH https://compute.googleapis.com/compute/v1/projects/`PROJECT_ID`/regions/`REGION`/backendServices/`BACKEND_SERVICE`
     

     "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE,
       "optionalMode": "EXCLUDE_ALL_OPTIONAL"
      }
     

    {
    "name": "BACKEND_SERVICE",
    "loadBalancingScheme": "EXTERNAL",
    "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE,
       "optionalMode": "INCLUDE_ALL_OPTIONAL"
      }
    }
    

    {
    "name": "BACKEND_SERVICE",
    "loadBalancingScheme": "EXTERNAL",
    "logConfig": {
       "enable": true,
       "sampleRate": SAMPLE_RATE,
       "optionalMode": "CUSTOM",
       "optionalFields": ["field1","field2",...]
      }
    }
    

Disattiva il logging su un servizio di backend esistente

gcloud compute backend-services update BACKEND_SERVICE \
  --region=REGION \
  --no-enable-logging

 PATCH https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/backendServices/BACKEND_SERVICE

 {
 "logConfig": {
   "enable": false
  }
 }
 

Visualizza i log

Quando i log vengono importati in Cloud Logging e non esclusi tramite un sink del router di log, puoi leggerli utilizzando l'API Cloud Logging e Google Cloud CLI.

Per visualizzare tutti i log del bilanciatore del carico di rete passthrough esterno:

Visualizzare i log di un servizio di backend specifico

Per visualizzare i log del bilanciatore del carico di rete passthrough esterno per un servizio di backend specifico:

Visualizza i log per un gruppo di istanza di backend

Per visualizzare i log del bilanciatore del carico di rete passthrough esterno per un gruppo di istanza di backend specifico:

Campi log

I record di log contengono campi obbligatori, che sono i campi predefiniti di ogni record di log, e campi facoltativi che aggiungono informazioni aggiuntive. Possono essere omessi per risparmiare sui costi di archiviazione.

Alcuni campi di log sono in formato multi-campo, con più di un dato in un determinato campo. Ad esempio, il campo connection è nel formato IpConnection, che contiene l'indirizzo IP e la porta di origine e di destinazione, oltre al protocollo, in un unico campo. Questi campi multifield sono descritti nella tabella seguente sul formato dei record.

La risorsa monitorata è loadbalancing.googleapis.com/ExternalNetworkLoadBalancerRule.

Formato campo IpConnection

Formato del campo InstanceDetails

Formato del campo GeographicDetails

Formato del campo GkeDetails

Formato del campo ClusterDetails

Formato del campo PodDetails

Formato del campo ServiceDetails

Formato del campo NetworkTierDetails

Monitoraggio

I bilanciatori del carico di rete passthrough esterni esportano le metriche chiave in Cloud Monitoring.

Le metriche di monitoraggio possono essere utilizzate per i seguenti scopi:

• Valutare la configurazione, l'utilizzo e le prestazioni di un bilanciatore del carico
• Risoluzione dei problemi
• Migliorare l'utilizzo delle risorse e l'esperienza utente

Oltre alle dashboard predefinite in Monitoring, puoi creare dashboard personalizzate, configurare avvisi ed eseguire query sulle metriche tramite l'API Monitoring.

Visualizzare le dashboard di Monitoring

Definisci le dashboard personalizzate di Monitoring

Puoi creare dashboard Monitoring personalizzate in base alle metriche del bilanciatore del carico di rete passthrough esterno.

Consulta la sezione Metriche e tipi di risorse per un elenco delle metriche raccolte. Consulta la sezione Filtri per visualizzare gli elenchi di attributi che puoi utilizzare per filtrare i risultati.

Definisci gli avvisi di monitoraggio

Puoi definire avvisi di monitoraggio su varie metriche del bilanciatore del carico di rete passthrough esterno:

Frequenza e conservazione dei report sulle metriche

Le metriche per i bilanciatori del carico di rete passthrough esterni vengono esportate in Monitoring in batch con granularità di un minuto. I dati di monitoraggio vengono conservati per sei settimane. Le metriche si basano sul traffico campionato (la frequenza di campionamento è dinamica e non può essere modificata). La dashboard fornisce l'analisi dei dati a intervalli predefiniti di un'ora (1H), sei ore (6H), un giorno (1D), una settimana (1W) e sei settimane (6W). Puoi richiedere manualmente l'analisi in qualsiasi intervallo da sei settimane a 60 secondi.

Metriche e tipi di risorse

Questa sezione descrive le metriche e i tipi di risorse per i bilanciatori del carico di rete passthrough esterni.

Metriche

Le seguenti metriche per i bilanciatori del carico di rete passthrough esterni sono segnalate in Monitoring. Puoi utilizzare questi nomi delle metriche quando effettui richieste API.

Tipi di risorse

I bilanciatori del carico di rete passthrough esterni utilizzano i seguenti tipi di risorse:

• tcp_lb_rule
• udp_lb_rule
• loadbalancing.googleapis.com/ExternalNetworkLoadBalancerRule

Un bilanciatore del carico di rete passthrough esterno può supportare il traffico TCP, UDP, ESP, GRE, ICMP e ICMPv6.

Puoi specificare il tipo di risorsa come tcp_lb_rule o udp_lb_rule per limitare i dati monitorati ai protocolli TCP o UDP. Puoi specificare il tipo di risorsa come loadbalancing.googleapis.com/ExternalNetworkLoadBalancerRule per monitorare tutti i protocolli supportati, inclusi TCP, UDP, ESP, GRE, ICMP e ICMPv6.

Filtri

Le metriche vengono aggregate per ogni bilanciatore del carico di rete passthrough esterno. Puoi filtrare le metriche aggregate in base alle seguenti dimensioni.

Etichette risorse per tcp_lb_rule o udp_lb_rule

Puoi limitare la query in base alla risorsa. Puoi anche raggruppare i risultati in base a questi valori.

resource.label.<var>LABEL_KEY</var>:

Etichette risorse per loadbalancing.googleapis.com/ExternalNetworkLoadBalancerRule

Puoi limitare la query in base alla risorsa. Puoi anche raggruppare i risultati in base a questi valori.

resource.label.<var>LABEL_KEY</var>:

Etichette metriche

Puoi limitare la query in base all'etichetta della metrica. Puoi anche raggruppare i risultati in base a questi valori.

metric.label.<var>LABEL_KEY</var>:

Monitoraggio delle richieste API

Puoi creare query arbitrarie sulle metriche del bilanciatore del carico di rete passthrough esterno utilizzando la richiesta projects.timeSeries.list dell'API Monitoring v3. La struttura esatta delle varie definizioni segue la semantica generica dei filtri di monitoraggio.

Esempi di richieste API

• Recupera tutti i byte inviati da tutti i bilanciatori del carico di rete passthrough esterni nel progetto durante le ore 12:00-12:02 UTC del 01/07/2019 con aggregazioni di 1 minuto.

  timeSeries.list parameters:

  • name: projects/PROJECT_ID
  • Filtro: resource.type = "tcp_lb_rule" AND metric.name="loadbalancing.googleapis.com/l3/external/egress_bytes_count"
  • interval.start_time: 2019-07-01T12:00:00Z
  • interval.end_time: 2019-07-01T12:02:00Z
  • aggregation.alignmentPeriod: 60s
  • aggregation.crossSeriesReducer: REDUCE_SUM
  • aggregation.perSeriesAligner: ALIGN_SUM

• Ottieni la misurazione RTT mediana per tutti i bilanciatori del carico di rete passthrough esterni nel progetto durante le ore 12:19-12:20 UTC del 01/07/2019, suddivisa per paese del client.

  timeSeries.list parameters:

  • name: projects/PROJECT_ID
  • Filtro: resource.type = "tcp_lb_rule" AND metric.name="loadbalancing.googleapis.com/l3/external/rtt_latencies"
  • interval.start_time: 2019-07-01T12:19:00Z
  • interval.end_time: 2019-07-01T12:20:00Z
  • aggregation.alignmentPeriod: 60s
  • aggregation.crossSeriesReducer: REDUCE_SUM
  • aggregation.groupByFields: metric.label.client_country
  • aggregation.perSeriesAligner: ALIGN_PERCENTILE_50

• Ottieni il numero totale di byte da un bilanciatore del carico di rete passthrough esterno specifico durante le ore 12:19-12:20 UTC del 01/07/2019, suddivisi per zona dell'endpoint e continente del client.

  timeSeries.list parameters:

  • name: projects/PROJECT_ID
  • Filtro: resource.type = "tcp_lb_rule" AND resource.label.load_balancer_name = "netlb-bs-1" AND metric.name="loadbalancing.googleapis.com/l3/external/ingress_bytes_count"
  • interval.start_time: 2019-07-01T12:19:00Z
  • interval.end_time: 2017-07-01T12:20:00Z
  • aggregation.alignmentPeriod: 60s
  • aggregation.crossSeriesReducer: REDUCE_SUM
  • aggregation.groupByFields: metric.label.client_continent
  • aggregation.groupByFields: resource.label.endpoint_zone
  • aggregation.perSeriesAligner: ALIGN_SUM

Passaggi successivi

• Leggi le informazioni concettuali sui bilanciatori del carico di rete passthrough esterni
• Configura un bilanciatore del carico di rete passthrough esterno
• Scopri di più su Metriche, serie temporali e risorse di Monitoring.
• Scopri di più sulle regole di forwarding.
• Scopri di più sulla risoluzione dei problemi di accesso