Utilizzare la deduplicazione nella ricerca e nelle dashboard

Supportato in:

Questo documento spiega cosa succede quando cerchi dati in Google Security Operations. A volte i risultati possono includere duplicati. Ciò si verifica spesso perché l'infrastruttura aziendale genera log per lo stesso evento da più sistemi. Ad esempio, sia i sistemi di autenticazione che quelli di sicurezza potrebbero registrare un singolo evento di accesso.

Per ridurre i risultati duplicati, utilizza i campi UDM nella sezione dedup della sintassi YARA-L. Aggiungi i campi UDM a questa sezione per restituire un singolo risultato per ogni combinazione distinta di valori. .

Deduplicazione nelle query

La deduplicazione si applica ai seguenti tipi di query di ricerca e della dashboard:

  • Query di ricerca aggregate: include le sezioni match, match e outcome o aggregated outcome. La deduplicazione viene eseguita dopo la determinazione dei risultati.

    Per le query di ricerca aggregate, includi questi campi nella sezione dedup:

    • Campi della sezione match
    • Campi della sezione outcome

  • Query di ricerca UDM: escludi le sezioni match, outcome o aggregated outcome. Tieni presente che le query di ricerca UDM possono includere una sezione outcome a condizione che non siano presenti aggregazioni e non sia presente una sezione match.

    Per le query UDM, aggiungi questi campi alla sezione dedup:

    • Qualsiasi campo evento non ripetuto, non array e non raggruppato
    • Campi segnaposto della sezione events
    • Variabili di risultato della sezione outcome

Questa sezione mostra la sintassi YARA-L e può essere eseguita in Search.

Esempio: ricerca semplice di indirizzi IP univoci

La seguente ricerca di esempio mostra le connessioni di rete tra eventi in cui un indirizzo IP univoco all'interno della tua azienda (principal.ip) si connette a un indirizzo IP esterno univoco al di fuori della tua azienda (target.ip). Gli eventi vengono deduplicati in base a principal.ip.

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.ip != ""
   principal.ip != ""
match:
   target.ip, principal.ip
dedup:
   principal.ip

Esempio: indirizzi IP univoci

Analogamente all'esempio precedente, la seguente ricerca di esempio mostra gli eventi di connessione di rete con indirizzi IP unici. L'applicazione di dedup a principal.ip restringe i risultati agli eventi associati a IP unici. La sezione outcome mostra il totale dei byte inviati tra il giorno principal.ip e il giorno target.ip, ordinando i risultati dal volume di traffico più alto a quello più basso.

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.ip != ""
   principal.ip != ""
match:
   target.ip, principal.ip
outcome:
   $total_bytes = sum(network.sent_bytes)
dedup:
   principal.ip
order:
   $total_bytes desc

Esempio: ricerca semplice di nomi host univoci

Il seguente esempio cerca ogni nome host univoco a cui è stato eseguito l'accesso dalla tua azienda. L'applicazione di dedup a target.hostname restringe i risultati agli eventi associati a nomi host esterni univoci.

metadata.log_type != ""
dedup:
    target.hostname

Di seguito è riportato un esempio equivalente senza l'opzione dedup. In genere restituisce molti più eventi.

metadata.log_type != "" AND target.hostname != ""

Esempio: nomi host univoci

Analogamente all'esempio precedente, questa ricerca mostra gli eventi di connessione di rete con nomi host univoci. L'applicazione dell'opzione dedup a principal.hostname restringe i risultati agli eventi associati a host unici:

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.hostname != ""
   principal.hostname != ""
match:
   target.hostname, principal.hostname
outcome:
   $total_bytes = sum(network.sent_bytes)
dedup:
   principal.hostname
order:
   $total_bytes desc

Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.