Google SecOps-Daten in BigQuery

Unterstützt in:

Google SecOps bietet einen verwalteten Datensee mit normalisierter und durch Bedrohungsinformationen angereicherter Telemetrie, indem Daten nach BigQuery exportiert werden. Dadurch haben Sie folgende Möglichkeiten:

  • Ad-hoc-Abfragen direkt in BigQuery ausführen
  • Verwenden Sie Ihre eigenen Business-Intelligence-Tools wie Looker oder Microsoft Power BI, um Dashboards, Berichte und Analysen zu erstellen.
  • Google SecOps-Daten mit Datensätzen von Drittanbietern zusammenführen
  • Analysen mit Data Science- oder Machine-Learning-Tools ausführen
  • Sie können Berichte mit vordefinierten Standard- und benutzerdefinierten Dashboards erstellen.

Google SecOps exportiert die folgenden Datenkategorien nach BigQuery:

  • UDM-Ereignisdatensätze:UDM-Ereignisdatensätze, die aus von Kunden aufgenommenen Protokolldaten erstellt wurden. Diese Einträge werden mit Aliasinformationen angereichert.
  • Übereinstimmungen mit Regeln (Erkenntnisse): Fälle, in denen eine Regel mit einem oder mehreren Ereignissen übereinstimmt.
  • IoC-Übereinstimmungen: Artefakte (z. B. Domains, IP-Adressen) aus Ereignissen, die mit IoC-Feeds (Indicator of Compromise) übereinstimmen. Dazu gehören Übereinstimmungen aus globalen und kundenspezifischen Feeds.
  • Aufnahmemesswerte:Dazu gehören Statistiken wie die Anzahl der aufgenommenen Logzeilen, die Anzahl der aus Protokollen generierten Ereignisse, die Anzahl der Protokollfehler, die darauf hinweisen, dass Protokolle nicht geparst werden konnten, und der Status der Google SecOps-Weiterleitungen. Weitere Informationen finden Sie im BigQuery-Schema für Messwerte zur Datenaufnahme.
  • Entitätsgraph und Entitätsbeziehungen: Hier werden die Beschreibung von Entitäten und ihre Beziehungen zu anderen Entitäten gespeichert.

Datenexportablauf

Der Ablauf des Datenexports sieht so aus:

  1. Eine Reihe von Google SecOps-Daten, die für einen Anwendungsfall spezifisch sind, werden in eine BigQuery-Instanz exportiert, die in einem kundenspezifischen Google Cloud Projekt vorhanden ist und von Google verwaltet wird. Die Daten für jeden Anwendungsfall werden in eine separate Tabelle exportiert. Diese werden aus Google SecOps in ein kundenspezifisches Projekt in BigQuery exportiert.
  2. Im Rahmen des Exports erstellt Google SecOps für jeden Anwendungsfall ein vordefiniertes Looker-Datenmodell.
  3. Die Standard-Dashboards von Google SecOps werden mit den vordefinierten Looker-Datenmodellen erstellt. Sie können in Google SecOps benutzerdefinierte Dashboards mit den vordefinierten Looker-Datenmodellen erstellen.
  4. Kunden können Ad-hoc-Abfragen für in BigQuery-Tabellen gespeicherte Google SecOps-Daten schreiben.

  5. Kunden können auch erweiterte Analysen mit anderen Drittanbietertools erstellen, die in BigQuery eingebunden sind.

    Datenexport zur Verarbeitung in BigQuery

Die BigQuery-Instanz wird in derselben Region wie der Google SecOps-Tenant erstellt. Für jede Kunden-ID wird eine BigQuery-Instanz erstellt. Rohlogs werden nicht in den Google SecOps-Datensee in BigQuery exportiert. Die Daten werden nach dem Prinzip „Vorwärtsausfüllen“ exportiert. Wenn Daten in Google SecOps aufgenommen und normalisiert werden, werden sie nach BigQuery exportiert. Bereits aufgenommene Daten können nicht nachträglich eingefügt werden.

Wenn Sie eine Looker-Verbindung herstellen möchten, wenden Sie sich an Ihren Google SecOps-Ansprechpartner, um Anmeldedaten für ein Dienstkonto zu erhalten, mit dem Sie Ihre Looker-Instanz mit Google SecOps-Daten in BigQuery verbinden können. Das Dienstkonto hat Lesezugriff.

Tabellenübersicht

Google SecOps erstellt das datalake-Dataset in BigQuery und die folgenden Tabellen:

  • entity_enum_value_to_name_mapping: Ordnet für enumerierte Typen in der Tabelle entity_graph die numerischen Werte den Stringwerten zu.
  • entity_graph: Hier werden Daten zu UDM-Entitäten gespeichert.
  • events: Hier werden Daten zu UDM-Ereignissen gespeichert.
  • ingestion_metrics: Hier werden Statistiken zur Aufnahme und Normalisierung von Daten aus bestimmten Aufnahmequellen wie Google SecOps-Weiterleitungen, Feeds und der Ingestion API gespeichert.
  • ioc_matches: Hier werden IOC-Übereinstimmungen gespeichert, die mit UDM-Ereignissen gefunden wurden.
  • job_metadata: Eine interne Tabelle, mit der der Export von Daten nach BigQuery nachverfolgt wird.
  • rule_detections: Hier werden Erkennungen gespeichert, die von Regeln zurückgegeben werden, die in Google SecOps ausgeführt werden.
  • rulesets: Hier werden Informationen zu von Google SecOps ausgewählten Erkennungen gespeichert, einschließlich der Kategorie, zu der jeder Regelsatz gehört, ob er aktiviert ist und dem aktuellen Benachrichtigungsstatus.
  • udm_enum_value_to_name_mapping: Ordnet für enumerierte Typen in der Tabelle „Ereignisse“ die numerischen Werte den Stringwerten zu.
  • udm_events_aggregates: Hier werden aggregierte Daten nach Stunde normalisierter Ereignisse gespeichert.

Auf Daten in BigQuery zugreifen

Sie können Abfragen direkt in BigQuery ausführen oder Ihr eigenes Business Intelligence-Tool wie Looker oder Microsoft Power BI mit BigQuery verbinden.

Verwenden Sie entweder die Google SecOps-Befehlszeile oder die Google SecOps BigQuery Access API, um den Zugriff auf die BigQuery-Instanz zu aktivieren. Sie können eine E-Mail-Adresse für einen Nutzer oder eine Gruppe angeben, deren Inhaber Sie sind. Wenn Sie den Zugriff auf eine Gruppe konfigurieren, können Sie mit dieser Gruppe verwalten, welche Teammitglieder auf die BigQuery-Instanz zugreifen können.

Wenn Sie Looker oder ein anderes Business Intelligence-Tool mit BigQuery verbinden möchten, wenden Sie sich an Ihren Google SecOps-Ansprechpartner, um Anmeldedaten für ein Dienstkonto zu erhalten, mit dem Sie eine Anwendung mit dem BigQuery-Dataset von Google SecOps verbinden können. Das Dienstkonto hat die IAM-Rolle „BigQuery-Datenbetrachter“ (roles/bigquery.dataViewer) und die Rolle „BigQuery-Jobbetrachter“ (roles/bigquery.jobUser).

Nächste Schritte

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten