Automatische Extraktion – Übersicht

In diesem Dokument erhalten Sie einen Überblick darüber, wie Daten automatisch extrahiert werden, um die Datenaufnahme, -verarbeitung und -analyse zu verbessern.

Google Security Operations verwendet vordefinierte Parser, um Logdaten mit dem Schema für einheitliche Datenmodelle (Unified Data Model, UDM) zu extrahieren und zu strukturieren. Die Verwaltung und Wartung dieser Parser kann aufgrund mehrerer Einschränkungen schwierig sein: unvollständige Datenextraktion, zunehmende Anzahl der zu verwaltenden Parser und die Notwendigkeit häufiger Updates aufgrund der Weiterentwicklung von Protokollformaten.

Mit der Funktion zur automatischen Extraktion können Sie diese Herausforderungen meistern. Mit dieser Funktion werden automatisch Schlüssel/Wert-Paare aus JSON-formatierten Protokollen extrahiert, die in Google SecOps aufgenommen wurden. Diese extrahierten Daten werden in einem UDM-Feld vom Typ „Karte“ mit dem Namen extracted gespeichert. Sie können diese Daten dann in UDM-Suchanfragen, nativen Dashboards und YARA-L-Regeln verwenden. Das autonome Parsen unterstützt Protokolle im JSON-Format.

Die UDM-Suche mit extrahierten Feldern sollte metadata.log_type in der Abfrage enthalten, um die Leistung der Suchabfrage zu verbessern.

Der Vorteil der automatischen Extraktion besteht darin, dass die Abhängigkeit von Parsern reduziert wird. So bleiben die Daten auch dann verfügbar, wenn kein Parser vorhanden ist oder ein Protokoll nicht geparst werden kann.

Daten aus dem Rohprotokoll parsen und extrahieren

1. Parsen: Google SecOps versucht, Logs mit einem spezifischen Parser für den Logtyp zu parsen, sofern verfügbar. Wenn kein bestimmter Parser vorhanden ist oder die Analyse fehlschlägt, verwendet Google SecOps einen allgemeinen Parser, um grundlegende Informationen wie den Zeitstempel der Datenaufnahme, den Protokolltyp und Metadatenlabels zu extrahieren.

2. Datenextraktion: Alle Datenpunkte werden automatisch aus den Protokollen extrahiert.

3. Ereignis-Enrichment: In Google SecOps werden die geparsten Daten und alle benutzerdefiniert formatierten Felder kombiniert, um erweiterte Ereignisse zu erstellen, die mehr Kontext und Details bieten.

4. Downstream-Datenübertragung: Diese angereicherten Ereignisse werden dann zur weiteren Analyse und Verarbeitung an andere Systeme gesendet.

Mit Extraktoren arbeiten

Mit Extractorn können Sie Felder aus Logquellen mit hohem Volumen extrahieren. Sie sind für die Optimierung der Protokollverwaltung konzipiert. Mithilfe von Extractorn können Sie die Ereignisgröße reduzieren, die Effizienz des Parsings verbessern und die Datenextraktion besser steuern. Das ist besonders nützlich, um neue Protokolltypen zu verwalten oder die Verarbeitungszeit zu minimieren.

Sie können Extraktoren über das Menü SIEM-Einstellungen oder durch eine Suche in Rohprotokollen erstellen.

Extraktoren erstellen

1. Rufen Sie den Bereich Zusätzliche Felder extrahieren mit einer der folgenden Methoden auf:

   • Klicken Sie auf SIEM-Einstellungen > Parser und führen Sie die folgenden Schritte aus:
     1. Wählen Sie in der Tabelle PARSERS einen Parser (Protokollquelle) aus und klicken Sie auf das Dreistrich-Menü more_vert Menü > Parser erweitern > Zusätzliche Felder extrahieren.
   • Verwenden Sie die Funktion Raw Log Scan und gehen Sie so vor:
     1. Wählen Sie im Menü Log-Quellen die erforderlichen Log-Quellen (Parser) aus.
     2. Wählen Sie in den Rohprotokollergebnissen eine Protokollquelle aus, um den Bereich EREIGNISDATEN zu öffnen.
     3. Klicken Sie im Bereich EREIGNISDATEN auf Parser verwalten > Parser erweitern > Zusätzliche Felder extrahieren.
   • Verwenden Sie die UDM-Suche und gehen Sie so vor:
     1. Wählen Sie in den UDM-Suchergebnissen auf dem Tab EREIGNISSE eine Protokollquelle aus, um den Bereich Ereignisanzeige aufzurufen.
     2. Klicken Sie auf dem Tab Raw Log (Raw-Log) auf Manage Parser (Parser verwalten) > Extend Parser (Parser erweitern) > Extract Additional Fields (Zusätzliche Felder extrahieren).

2. Wählen Sie auf dem Tab Extraktoren auswählen im Bereich Zusätzliche Felder extrahieren die erforderlichen Rohprotokollfelder aus. Standardmäßig können Sie bis zu 100 Felder auswählen. Wenn keine weiteren Felder für die Extraktion verfügbar sind, wird eine Warnung angezeigt.

   Klicken Sie auf den Tab Referenz-Rohprotokoll, um die Rohprotokolldaten und eine Vorschau der UDM-Ausgabe aufzurufen.

3. Klicken Sie auf Speichern.

Der neu erstellte Extractor ist mit EXTRACTOR gekennzeichnet. Extrahierte Felder werden in der UDM-Ausgabe als extracted.field{"fieldName"} angezeigt.

Extraktordetails ansehen

1. Klicken Sie in der Tabelle PARSERS in der Zeile für den Extractor auf more_vert Menü > Parser erweitern > Erweiterung ansehen.
2. Klicken Sie auf der Seite BENUTZERDEFINIERTE PARSER ANSEHEN auf den Tab Erweiterungen und extrahierte Felder.

Auf diesem Tab finden Sie Informationen zu Parsererweiterungen und Extractor-Feldern. Auf der Seite BENUTZERDEFINIERTE PARSER ANSEHEN können Sie Felder ändern oder entfernen und sich eine Vorschau der Parserausgabe ansehen.

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten