Automatische Extraktion – Übersicht

Unterstützt in:

In diesem Dokument wird beschrieben, wie Daten automatisch extrahiert werden, um die Aufnahme, Verarbeitung und Analyse von Daten zu verbessern.

Google Security Operations verwendet vorgefertigte Parser, um Logdaten anhand des Schemas für einheitliche Datenmodelle (Unified Data Model, UDM) zu extrahieren und zu strukturieren. Die Verwaltung und Wartung dieser Parser kann aufgrund mehrerer Einschränkungen schwierig sein: unvollständige Datenextraktion, die wachsende Anzahl der zu verwaltenden Parser und die Notwendigkeit häufiger Aktualisierungen, wenn sich die Logformate weiterentwickeln.

Mit der Funktion zur automatischen Extraktion können Sie diese Herausforderungen meistern. Mit dieser Funktion werden automatisch Schlüssel/Wert-Paare aus JSON-formatierten Logs extrahiert, die in Google SecOps aufgenommen werden. Es werden auch Syslog-formatierte Logs unterstützt, die eine JSON-Nachricht enthalten. Diese extrahierten Daten werden in einem UDM-Feld vom Typ „Karte“ mit dem Namen extracted gespeichert. Sie können diese Daten dann in UDM-Suchanfragen, nativen Dashboards und YARA-L-Regeln verwenden.

Die UDM-Suche mit extrahierten Feldern sollte metadata.log_type in der Abfrage enthalten, um die Leistung der Suchabfrage zu verbessern.

Der Vorteil der automatischen Extraktion besteht darin, dass weniger Parser benötigt werden. So bleiben Daten verfügbar, auch wenn kein Parser vorhanden ist oder ein Log nicht geparst werden kann.

Daten aus dem Rohlog parsen und extrahieren

  1. Parsing: Google SecOps versucht, Logs mit einem Parser zu parsen, der für den Logtyp spezifisch ist, sofern verfügbar. Wenn kein bestimmter Parser vorhanden ist oder das Parsen fehlschlägt, verwendet Google SecOps einen allgemeinen Parser, um grundlegende Informationen wie den Zeitstempel der Aufnahme, den Protokolltyp und Metadatenlabels zu extrahieren.

  2. Datenextraktion: Alle Datenpunkte werden automatisch aus den Logs extrahiert.

  3. Ereignisanreicherung: Google SecOps kombiniert die geparsten Daten und alle benutzerdefinierten formatierten Felder, um angereicherte Ereignisse zu erstellen, die mehr Kontext und Details enthalten.

  4. Downstream-Datenübertragung: Diese angereicherten Ereignisse werden dann zur weiteren Analyse und Verarbeitung an andere Systeme gesendet.

Mit Extraktoren arbeiten

Mit Extraktoren können Sie Felder aus Logquellen mit hohem Volumen extrahieren. Sie wurden entwickelt, um die Logverwaltung zu optimieren. Mit Extraktoren können Sie die Ereignisgröße reduzieren, die Parsing-Effizienz steigern und die Datenextraktion besser steuern. Das ist besonders nützlich, wenn Sie neue Log-Typen verwalten oder die Verarbeitungszeit minimieren möchten.

Sie können Extraktoren über das Menü SIEM-Einstellungen oder durch eine Rohlog-Suche erstellen.

Extraktoren erstellen

  1. Rufen Sie den Bereich Zusätzliche Felder extrahieren mit einer der folgenden Methoden auf:

    • Klicken Sie auf SIEM Settings (SIEM-Einstellungen) > Parsers (Parser) und gehen Sie so vor:
      1. Suchen Sie in der Tabelle PARSERS (PARSER) nach einem Parser (Log-Quelle) und klicken Sie auf  Menü > Parser erweitern > Zusätzliche Felder extrahieren.
    • Verwenden Sie Raw Log Scan und gehen Sie so vor:
      1. Wählen Sie im Menü Log Sources (Log-Quellen) die gewünschten Log-Quellen (Parser) aus.
      2. Wählen Sie in den Rohprotokoll-Ergebnissen eine Protokollquelle aus, um den Bereich EREIGNISDATEN zu öffnen.
      3. Klicken Sie im Bereich EVENT DATA (Ereignisdaten) auf Manage Parser (Parser verwalten) > Extend Parser (Parser erweitern) > Extract Additional Fields (Zusätzliche Felder extrahieren).
    • Verwenden Sie die UDM-Suche und gehen Sie so vor:
      1. Wählen Sie auf dem Tab EVENTS (EREIGNISSE) in den UDM-Suchergebnissen eine Protokollquelle aus, um den Bereich Event Viewer (Ereignisanzeige) aufzurufen.
      2. Klicken Sie auf dem Tab Rohlog auf Parser verwalten > Parser erweitern > Zusätzliche Felder extrahieren.

  2. Wählen Sie auf dem Tab Extrahierer auswählen im Bereich Zusätzliche Felder extrahieren die erforderlichen Rohlogfelder aus. Standardmäßig können Sie bis zu 100 Felder auswählen. Wenn keine zusätzlichen Felder für die Extraktion verfügbar sind, wird eine Warnung angezeigt.

    Klicken Sie auf den Tab Referenz-Rohlog, um die Rohlogdaten und eine Vorschau der UDM-Ausgabe aufzurufen.

  3. Klicken Sie auf Speichern.

Der neu erstellte Extractor wird mit EXTRACTOR gekennzeichnet. Extrahierte Felder werden in der UDM-Ausgabe alsextracted.field{"fieldName"}angezeigt.

Extraktordetails ansehen

  1. Klicken Sie in der Tabelle PARSERS in der Zeile für den Extraktor auf  Menü > Parser erweitern > Erweiterung ansehen.
  2. Klicken Sie auf der Seite VIEW CUSTOM PARSERS (Benutzerdefinierte Parser ansehen) auf den Tab Extensions and Extracted Fields (Erweiterungen und extrahierte Felder).

Auf diesem Tab finden Sie Informationen zu Parsererweiterungen und Extraktorfeldern. Auf der Seite BENUTZERDEFINIERTE PARSER ANSEHEN können Sie Felder ändern oder entfernen und sich die Parserausgabe ansehen.

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten