Ergebnisse per Bulk-Export nach BigQuery exportieren

In diesem Dokument wird beschrieben, wie Sie On-Demand-Bulk-Exporte von Security Command Center-Ergebnissen nach BigQuery initiieren.

BigQuery ist das vollständig verwaltete, kostengünstige Data Warehouse für Analysen im Petabyte-Bereich von Google Cloud. Damit können Sie große Datenmengen nahezu in Echtzeit analysieren. Weitere Informationen zu BigQuery finden Sie in der BigQuery-Dokumentation.

Übersicht

Diese Funktion liefert eine Momentaufnahme der Ergebnisse bis zu einem bestimmten Zeitpunkt. Dieses Feature ergänzt den kontinuierlichen BigQuery-Export und ermöglicht umfassende Analysen und Berichte.

Mit Bulk-Exporten haben Sie folgende Möglichkeiten:

Dataset-Struktur

Die Ergebnisse werden als Zeilen in die BigQuery-Tabelle findings exportiert, die nach source_id, finding_id und event_time gruppiert ist.

Jedes Dataset enthält die Tabelle findings mit den folgenden Feldern:

Feld Beschreibung
source_id

Eine eindeutige Kennung, die Security Command Center der Quelle eines Ergebnisses zuweist. Beispielsweise haben alle Ergebnisse der Quelle „Cloud-Anomalieerkennung“ denselben source_id-Wert.

Beispiel: 1234567890
finding_id Eindeutige Kennung für das Ergebnis. Sie ist innerhalb einer Quelle für eine Organisation eindeutig. Sie ist alphanumerisch und besteht aus höchstens 32 Zeichen.
event_time

Der Zeitpunkt des Ereignisses oder der Zeitpunkt, zu dem das Ergebnis aktualisiert wurde. Wenn das Ergebnis beispielsweise eine offene Firewall darstellt, erfasst event_time den Zeitpunkt, zu dem der Detektor der Meinung ist, dass die Firewall geöffnet wurde. Wenn das Ergebnis später behoben wird, gibt dieser Zeitpunkt an, wann das Ergebnis behoben wurde.

Beispiel: 2019-09-26 12:48:00.985000 UTC
bulk_export_id

Bei Bulk-Exporten (Vorschau) ist dies eine UUID.

Bei kontinuierlichen Exporten ist dieses Feld leer.
finding

Ein Datensatz von Bewertungsdaten wie Sicherheit, Risiko, Zustand oder Datenschutz, die in Security Command Center für Darstellung, Benachrichtigung, Analyse, Richtlinientests und Durchsetzung aufgenommen werden. Eine XSS-Sicherheitslücke (Cross-Site-Scripting) in einer App Engine-Anwendung ist beispielsweise ein Ergebnis.

Weitere Informationen zu den verschachtelten Feldern finden Sie in der API-Referenz zum Objekt Finding.

resource

Informationen zur Google Cloud -Ressource, die diesem Ergebnis zugeordnet ist.

Weitere Informationen zu den verschachtelten Feldern finden Sie in der API-Referenz zum Objekt Resource.

Kosten

Für diese Funktion fallen BigQuery-Gebühren für die Speicherung von Daten in BigQuery an. Weitere Informationen finden Sie unter BigQuery-Speicherpreise.

Hinweise

Führen Sie die folgenden Schritte aus, bevor Sie diese Funktion aktivieren.

Berechtigungen einrichten

Zum Durcharbeiten dieser Anleitung benötigen Sie die folgenden IAM-Rollen (Identity and Access Management):

BigQuery-Dataset erstellen

Erstellen Sie ein BigQuery-Dataset, indem Sie die Schritte unter Datasets erstellen ausführen.

Security Command Center API aktivieren

Wenn Sie Ergebnisse exportieren möchten, müssen Sie die Security Command Center API aktivieren. Gehen Sie dazu so vor:

  1. Rufen Sie in der Google Cloud Console die Seite „API-Bibliothek“ auf.

    Zur API-Bibliothek

  2. Wählen Sie das Projekt aus, für das Sie die Security Command Center API aktivieren möchten.

  3. Geben Sie im Feld Suchen Security Command Center ein und klicken Sie dann in den Suchergebnissen auf Security Command Center.

  4. Klicken Sie auf der angezeigten API-Seite auf Aktivieren.

Die Security Command Center API ist für Ihr Projekt aktiviert.

Perimeterzugriff in VPC Service Controls gewähren

Wenn Sie VPC Service Controls verwenden, lesen Sie den Abschnitt Perimeterzugriff in VPC Service Controls gewähren und führen Sie die dort beschriebenen Schritte bei Bedarf aus.

Dieser Schritt muss für jeden Nutzer wiederholt werden, der einen Massenexport für einen bestimmten Serviceperimeter erstellt.

Eingangsregel für den neuen BigQuery-Bulk-Export erstellen

Wenn Sie VPC Service Controls verwenden, lesen Sie den Abschnitt Regel für eingehenden Traffic für den neuen Export nach BigQuery erstellen und führen Sie die entsprechenden Schritte bei Bedarf aus.

Einschränkungen für BigQuery-Bulk-Exporte

Beachten Sie beim Erstellen von BigQuery-Bulk-Exporten die folgenden Einschränkungen:

  • Für eine einzelne Organisation sind jeweils nur drei gleichzeitige Bulk-Exporte zulässig.
  • Wenn Sie mehrere nicht gleichzeitige Bulk-Exporte in dasselbe BigQuery-Dataset anfordern, werden neuere Ergebnisse im Export an die BigQuery-Tabelle findings angehängt. Ergebnisse werden nicht überschrieben.

BigQuery-Bulk-Export erstellen

Ein Bulk-Export von Ergebnissen ist nur auf Organisationsebene möglich.

So starten Sie einen Massenexport von Ergebnissen in eine BigQuery-Instanz mit der gcloud CLI:

  1. Rufen Sie die Google Cloud Console auf.

    Zur Google Cloud Console

  2. Wählen Sie das Projekt aus, für das Sie die Security Command Center API aktiviert haben.

  3. Klicken Sie auf Cloud Shell aktivieren.

  4. Führen Sie den folgenden Befehl aus, um eine neue Exportkonfiguration zu erstellen:

    gcloud scc findings export-to-bigquery PARENT \
    --dataset=DATASET_NAME \
    [--location=LOCATION; default="global"] \

    Ersetzen Sie Folgendes:

    • PARENT: Der relative Name des Exportbereichs. Beispielformat: organizations/ORGANIZATION_ID
    • DATASET_NAME: Der Name des BigQuery-Datasets. Beispielformat: projects/PROJECT_ID/datasets/DATASET_ID

    • LOCATION: Der Security Command Center-Standort, an dem eine Exportkonfiguration erstellt werden soll. Wenn die Datenresidenz aktiviert ist, verwenden Sie eu, sa oder us. Andernfalls verwenden Sie den Wert global. Diese Variable ist optional.

      Wenn Sie beispielsweise einen Massenexport aller Ergebnisse erstellen möchten, führen Sie den folgenden Befehl aus:

      gcloud scc findings export-to-bigquery organizations/123
  --dataset=projects/123/datasets/DATASET

      Im Hinblick auf die Datenlokalisierung wird im vorherigen Beispiel der globale Endpunkt aufgerufen.

      Führen Sie den folgenden Befehl aus, um denselben Bulk-Export für den eu-Endpunkt zu erstellen:

      gcloud scc findings export-to-bigquery organizations/123
  --dataset=projects/123/datasets/DATASET
  --location=locations/eu

Dieser Befehl gibt ein Objekt für einen Vorgang mit langer Ausführungszeit zurück, das einen name-String enthält, der zum Nachverfolgen des Exportstatus erforderlich ist. Informationen zum Nachverfolgen des Status dieses BigQuery-Bulk-Exports finden Sie unter Status eines Bulk-Exports ansehen.

Informationen zum Ansehen der Ergebnisse finden Sie unter Ergebnisse prüfen.

Abfragen

Eine Vielzahl von Abfragen, mit denen Sie Daten zu Ergebnissen analysieren können, finden Sie unter Nützliche Abfragen.

Status eines Bulk-Exports ansehen

Wenn Sie den Status eines Bulk-Exports aufrufen möchten, benötigen Sie den long running operation name-String, der Ihnen beim Erstellen des Bulk-Exports zurückgegeben wurde.

  1. Rufen Sie die Google Cloud Console auf.

    Zur Google Cloud Console

  2. Wählen Sie das Projekt aus, für das Sie die Security Command Center API aktiviert haben.

  3. Klicken Sie auf Cloud Shell aktivieren.

  4. Führen Sie den folgenden Befehl aus, um die Details der Konfiguration für den Massenexport zu prüfen:

    gcloud scc operations describe LONG_RUNNING_OPERATION_NAME \
    --organization=ORGANIZATION_ID

    Ersetzen Sie Folgendes:

    • LONG_RUNNING_OPERATION_NAME: Der name-String, der beim Erstellen des Bulk-Exports zurückgegeben wurde.

    • ORGANIZATION_ID

      Wenn Sie beispielsweise den Status einer Bulk-Exportanfrage mit der zurückgegebenen name: "long-running-operation-name" aus einer Organisation mit einer Organisations-ID sehen möchten, die auf 123 festgelegt ist, führen Sie den folgenden Befehl aus:

      gcloud scc operations describe long-running-operation-name \
  --organization=123
  • Wenn ein Export erfolgreich war, enthält die Antwort done: true.
  • Wenn ein Export fehlgeschlagen ist, enthält die Antwort einen Fehlercode.
  • Wenn ein Export noch läuft, enthält die Antwort weder done: true noch einen Fehlercode.

BigQuery-Bulk-Exporte und kontinuierliche Exporte

Wenn Sie Bulk- und kontinuierliche BigQuery-Exporte zusammen für dasselbe BigQuery-Dataset verwenden möchten, gibt es zwei mögliche Ansätze:

  • Erstellen Sie zuerst einen kontinuierlichen Export und füllen Sie dann die Daten mit einem Bulk-Export auf.

    1. Richten Sie einen fortlaufenden Export in ein BigQuery-Dataset ein. Sobald der Export erfolgreich erstellt wurde, erhalten Sie Security Command Center-Ergebnisse in Echtzeit.

    2. Erstellen Sie einen Bulk-Export mit demselben BigQuery-Zieldataset. Ein Snapshot aller Security Command Center-Ergebnisse zum Zeitpunkt des Exports wird in das ausgewählte Dataset exportiert.

    Die Ausführung eines Bulk-Exports dauert. Wenn der kontinuierliche Export also um T1 erstellt, der Bulk-Export um T2 ausgelöst und der Snapshot der Ergebnisse für den Bulk-Export um T3 abgeschlossen wird, können zwischen T1 und T3 doppelte Datensätze auftreten. Es gibt jedoch keine Lücken bei den Ergebnissen.

  • Erstellen Sie zuerst einen Bulk-Export und dann einen kontinuierlichen Export.

    1. Erstellen Sie einen Bulk-Export. Eine Momentaufnahme aller Security Command Center-Ergebnisse zum Zeitpunkt der Ausführung des Exports wird in das ausgewählte BigQuery-Dataset exportiert.

    2. Richten Sie einen fortlaufenden Export in dasselbe BigQuery-Zieldataset ein. Sobald der Export erfolgreich erstellt wurde, erhalten Sie Security Command Center-Ergebnisse in Echtzeit.

    Wenn der Bulk-Export um T1 erstellt wird, der Snapshot der Ergebnisse für den Bulk-Export um T2 abgeschlossen wird und der kontinuierliche Export um T3 ausgelöst wird, fehlen möglicherweise Ergebnisse zwischen T2 und T3 im BigQuery-Dataset.

Nächste Schritte