Limiti di burst

Questo documento descrive i limiti di burst che si applicano alle risorse Google Security Operations, in particolare il volume di dati che può essere importato in Google SecOps da un singolo cliente. I limiti di burst limitano l'utilizzo delle risorse condivise da tutti i clienti:

• Limite superiore alla quantità di importazione dati che può essere utilizzata da un singolo cliente. In questo modo, un improvviso afflusso di dati da un singolo cliente non influisce sugli altri.
• Monitora l'utilizzo delle risorse condivise per ciascun cliente.
• Mantiene le configurazioni che applicano automaticamente i limiti di burst.
• Fornisce un mezzo per richiedere o apportare modifiche ai limiti di burst.

Per la protezione da sovratensioni, il limite di burst viene misurato su periodi di 5 minuti. Non è un limite di importazione giornaliero.

Aumento del limite di burst per cliente

Se intendi aumentare rapidamente la velocità di importazione, possiamo aiutarti a pianificare in anticipo e garantire che l'importazione dati rimanga stabile. Per richiedere un aumento del limite di burst, contatta in anticipo l'assistenza tecnica di Google SecOps.

Panoramica dei limiti di burst

I limiti di burst limitano la quantità di dati che un cliente può inviare a Google SecOps. Ciò garantisce l'equità e impedisce ripercussioni sugli altri clienti a causa di picchi di importazione da parte di un singolo cliente. I limiti di burst garantiscono che l&#39importazione datii dei clienti funzioni senza problemi e possano essere modificati in modo proattivo utilizzando unaticket di assistenzaa. Per applicare i limiti di burst, Google SecOps utilizza le seguenti classificazioni in base al volume di importazione:

Le seguenti linee guida si applicano ai limiti di burst:

• Quando viene raggiunto il limite di burst, le origini di importazione configurate correttamente devono essere impostate per memorizzare nel buffer i dati aggiuntivi. Non devono essere configurati per eliminare i dati.

  • Per l'importazione basata sul pull, come Google Cloud e i feed API, l'importazione viene memorizzata automaticamente nel buffer e non richiede alcuna configurazione aggiuntiva.
  • Per i metodi di importazione basati sul push, come i forwarder, i webhook e l'importazione API, configura i sistemi in modo che inviino nuovamente i dati automaticamente quando viene raggiunto il limite di burst. Per sistemi come Bindplane e Cribl, configura il buffering per gestire in modo efficiente l'overflow di dati.

• Prima di raggiungere il limite di burst, puoi aumentarlo.

• Per determinare se stai per raggiungere il limite di burst, consulta Visualizzare l'utilizzo del limite di burst.

Visualizzare l'utilizzo del limite di burst

Puoi visualizzare l'utilizzo del limite di burst utilizzando Google SecOps o Cloud Monitoring.

Utilizzare la dashboard di Google SecOps per visualizzare i limiti di burst

Per visualizzare l'utilizzo dei limiti, utilizza le seguenti visualizzazioni nella dashboard Inserimento e integrità dei dati di Google SecOps:

• Grafico del limite di burst - Frequenza di importazione: mostra la frequenza di importazione.
• Grafico del limite di burst - Limite di quota: mostra il limite di quota.
• Grafico dei rifiuti burst: mostra il volume dei log rifiutati a causa del superamento del limite burst.

Per visualizzare le visualizzazioni:

1. Nel menu Google SecOps, seleziona Dashboard.

2. Nella sezione Dashboard predefinite, seleziona Importazione e integrità dei dati.

   Nel dashboard Importazione e integrità dei dati, puoi visualizzare le visualizzazioni.

Utilizzare Cloud Monitoring per visualizzare i limiti di burst

Per visualizzare i limiti di burst di Google SecOps nella console Google Cloud , devi disporre delle stesse autorizzazioni di qualsiasi limite Google Cloud . Per saperne di più, consulta Concedere l'accesso a Cloud Monitoring.

Per informazioni su come visualizzare le metriche utilizzando i grafici, consulta Crea grafici con Esplora metriche.

Per visualizzare l'utilizzo del limite di burst, utilizza la seguente query PromQL:

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))

Per visualizzare il numero di byte rifiutati dopo aver superato il limite di burst, utilizza la seguente query PromQL:

sum(rate(chronicle_googleapis_com:ingestion_log_quota_rejected_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[15m]))

Per creare un avviso quando i byte importati superano il 70% del limite di burst, utilizza la seguente query PromQL:

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/
min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m])) > 70

Memorizzare nel buffer i dati nell'origine di importazione

La tabella seguente descrive la configurazione necessaria per memorizzare nel buffer (anziché eliminare) i dati della tua azienda a seconda dell'origine dell'importazione.

Risoluzione dei problemi

Strategie per evitare di superare i limiti

Le seguenti linee guida ti aiutano a evitare di superare il limite di burst:

• Crea un avviso di importazione che ti avvisi quando il volume dei byte importati supera la soglia del limite di burst. Per saperne di più sulla configurazione degli avvisi di importazione, consulta Utilizzo di Cloud Monitoring per le notifiche di importazione.

• Per identificare le origini e il volume dell'importazione, crea un avviso di monitoraggio con collector_id e log_type insieme alla metrica chronicle.googleapis.com/ingestion/log/bytes_count. Per identificare le origini e il volume dell'importazione, utilizza la seguente query PromQL:

  sum by (collector_id,log_type)(rate(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[5m]))
  

• Se prevedi che il volume di importazione aumenterà di oltre quattro volte rispetto al normale volume di importazione, contatta l'assistenza tecnica di Google SecOps in anticipo per aumentare il limite di burst.

• Se utilizzi un forwarder Google SecOps per importare i dati, puoi utilizzare i buffer del disco per memorizzare i dati nel buffer quando superi il limite di burst. Per saperne di più, consulta la sezione Utilizzare i buffer del disco per gli inoltratori.

Gestire gli eventi di limite di burst

Se raggiungi il limite di burst, esegui le seguenti azioni per il tuo metodo di importazione:

Utilizzo dei buffer del disco per gli inoltratori

Se utilizzi Google SecOps SIEM Forwarder, ti consigliamo di iniziare a utilizzare i buffer del disco per memorizzare i dati nel buffer quando superi il limite di burst. La dimensione massima della RAM utilizzata dal raccoglitore è di 4 GB. Puoi impostare questo limite utilizzando l'impostazione max_file_buffer_bytes nella configurazione del raccoglitore. Per memorizzare nel buffer i dati superiori a 4 GB, utilizza i buffer del disco. Per decidere le dimensioni del buffer del disco, identifica la velocità di importazione dei forwarder utilizzando la seguente query MQL:

sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector", collector_id!~ "
(aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa
|bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb
|cccccccc-cccc-cccc-cccc-cccccccccccc
|dddddddd-dddd-dddd-dddd-dddddddddddd
|aaaa2222-aaaa-2222-aaaa-2222aaaa2222)"}[5m]))

Ad esempio, se la velocità di inserimento dal forwarder è 415 Kbps e l'efficienza di compressione del buffer è del 70%, la velocità di riempimento del buffer viene calcolata come 415 Kbps x (100% - 70%) = 124,5 Kbps. A questa velocità, un buffer di 1 GB, che è il valore predefinito del buffer in memoria, si riempie in 2 ore e 20 minuti. Il calcolo è 1024 x 1024 / 124,5 = 8422,297 secondi = 2 ore e 20 minuti. Se hai superato il limite di burst, hai bisogno di un disco da 100 GB per memorizzare temporaneamente i dati per un giorno.

Domande frequenti

Quale errore viene attivato quando superi il limite di burst?

Quando superi il limite di burst, ricevi l'errore HTTP 429.

Come si risolve l'errore HTTP 429?

Riprova a inviare la richiesta dopo cinque minuti.

Con quale frequenza vengono aggiornati i limiti di burst?

I limiti burst vengono aggiornati ogni 5 minuti.