Deduplizierung in der Suche und in Dashboards verwenden

Unterstützt in:

In diesem Dokument wird beschrieben, was passiert, wenn Sie in Google Security Operations nach Daten suchen. Manchmal enthalten die Ergebnisse Duplikate. Das liegt oft daran, dass die Infrastruktur von Unternehmen Logs für dasselbe Ereignis aus mehreren Systemen generiert. So kann es beispielsweise sein, dass sowohl Ihr Authentifizierungs- als auch Ihr Sicherheitssystem ein einzelnes Anmeldeereignis protokollieren.

Um doppelte Ergebnisse zu reduzieren, verwenden Sie UDM-Felder im dedup-Abschnitt Ihrer YARA-L-Syntax. Fügen Sie diesem Abschnitt UDM-Felder hinzu, um für jede eindeutige Kombination von Werten ein einzelnes Ergebnis zurückzugeben. .

Deduplizierung in Abfragen

Die Deduplizierung wird für die folgenden Arten von Such- und Dashboard-Abfragen angewendet:

  • Aggregierte Suchanfragen: Enthält die Abschnitte match, match und outcome oder aggregated outcome. Die Deduplizierung erfolgt, nachdem die Ergebnisse ermittelt wurden.

    Fügen Sie für aggregierte Suchanfragen die folgenden Felder in den Abschnitt dedup ein:

    • Felder aus dem Abschnitt match
    • Felder aus dem Abschnitt outcome

  • UDM-Suchanfragen: Schließen Sie die Abschnitte match, outcome oder aggregated outcome aus. UDM-Suchanfragen können einen outcome-Abschnitt enthalten, sofern keine Aggregate und kein match-Abschnitt vorhanden sind.

    Fügen Sie für UDM-Abfragen die folgenden Felder dem Abschnitt dedup hinzu:

    • Alle nicht wiederholten, nicht als Array und nicht gruppierten Ereignisfelder
    • Platzhalterfelder aus dem Abschnitt events
    • Ergebnisvariablen aus dem Bereich outcome

In diesem Abschnitt wird die YARA-L-Syntax gezeigt, die in Search ausgeführt werden kann.

Beispiel: Einfache Suche nach eindeutigen IP-Adressen

Die folgende Beispielsuche zeigt Netzwerkverbindungen zwischen Ereignissen, bei denen eine eindeutige IP-Adresse in Ihrem Unternehmen (principal.ip) eine Verbindung zu einer eindeutigen, externen IP-Adresse außerhalb Ihres Unternehmens (target.ip) herstellt. Die Ereignisse werden anhand von principal.ip dedupliziert.

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.ip != ""
   principal.ip != ""
match:
   target.ip, principal.ip
dedup:
   principal.ip

Beispiel: Eindeutige IP-Adressen

Ähnlich wie im vorherigen Beispiel werden in der folgenden Beispielsuche Ereignisse für Netzwerkverbindungen mit eindeutigen IP-Adressen angezeigt. Wenn Sie dedup auf principal.ip anwenden, werden die Ergebnisse auf Ereignisse eingegrenzt, die mit eindeutigen IP-Adressen verknüpft sind. Im Bereich outcome werden die insgesamt zwischen principal.ip und target.ip gesendeten Byte angezeigt. Die Ergebnisse sind nach dem höchsten bis zum niedrigsten Trafficvolumen sortiert.

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.ip != ""
   principal.ip != ""
match:
   target.ip, principal.ip
outcome:
   $total_bytes = sum(network.sent_bytes)
dedup:
   principal.ip
order:
   $total_bytes desc

Beispiel: Einfache Suche nach eindeutigen Hostnamen

Im folgenden Beispiel wird nach jedem eindeutigen Hostnamen gesucht, auf den von Ihrem Unternehmen aus zugegriffen wurde. Wenn Sie dedup auf target.hostname anwenden, werden die Ergebnisse auf Ereignisse mit eindeutigen externen Hostnamen eingegrenzt.

metadata.log_type != ""
dedup:
    target.hostname

Das folgende Beispiel ist gleichwertig, aber ohne die Option dedup. In der Regel werden deutlich mehr Ereignisse zurückgegeben.

metadata.log_type != "" AND target.hostname != ""

Beispiel: Eindeutige Hostnamen

Ähnlich wie im vorherigen Beispiel werden bei dieser Suche Netzwerkverbindungsereignisse mit eindeutigen Hostnamen angezeigt. Wenn Sie die Option dedup auf principal.hostname anwenden, werden die Ergebnisse auf Ereignisse eingegrenzt, die mit einzelnen Hosts verknüpft sind:

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.hostname != ""
   principal.hostname != ""
match:
   target.hostname, principal.hostname
outcome:
   $total_bytes = sum(network.sent_bytes)
dedup:
   principal.hostname
order:
   $total_bytes desc

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten