AWS CloudWatch-Logs erfassen

In diesem Dokument wird beschrieben, wie Sie AWS CloudWatch-Logs mit Amazon S3 oder Amazon Kinesis Data Firehose in Google Security Operations aufnehmen. AWS CloudWatch ist ein Dienst für Monitoring und Observability, der Betriebsdaten in Form von Logs, Messwerten und Ereignissen erfasst. Mit dieser Integration können Sie diese Logs zur Analyse und zum Monitoring an Google SecOps senden.

Hinweise

Prüfen Sie, ob folgende Voraussetzungen erfüllt sind:

• Google SecOps-Instanz
• Privilegierter Zugriff auf AWS

CloudWatch-Logs mit AWS S3 exportieren

Dieser Exportvorgang muss regelmäßig durchgeführt werden, damit die neuesten CloudWatch-Logs in S3 aufgenommen werden.

Amazon S3-Bucket erstellen

Wir empfehlen, einen Bucket zu verwenden, der speziell für CloudWatch-Logs erstellt wurde.

1. Öffnen Sie die Amazon S3-Konsole.
2. Bei Bedarf können Sie die Region ändern.
   • Wählen Sie in der Navigationsleiste die Region aus, in der sich Ihre CloudWatch Logs befinden.
3. Klicken Sie auf Bucket erstellen.
   • Bucket-Name: Geben Sie einen aussagekräftigen Namen für den Bucket ein.
   • Region: Wählen Sie die Region aus, in der sich Ihre CloudWatch Logs-Daten befinden.
   • Klicken Sie auf Erstellen.

IAM-Nutzer mit vollem Zugriff auf Amazon S3 und CloudWatch Logs erstellen

1. Öffnen Sie die IAM-Konsole.
2. Klicken Sie auf Nutzer > Nutzer erstellen.
3. Geben Sie im Feld Nutzername einen Namen ein, z. B. CWExport.
4. Wählen Sie sowohl Programmatic access (Programmatischer Zugriff) als auch AWS Management Console access (Zugriff auf die AWS Management Console) aus.
5. Wählen Sie entweder Automatisch generiertes Passwort oder Benutzerdefiniertes Passwort aus.
6. Klicken Sie auf Next: Permissions.
7. Wählen Sie Vorhandene Richtlinien direkt anhängen aus.
8. Suchen Sie nach den Richtlinien AmazonS3FullAccess und CloudWatchLogsFullAccess und weisen Sie sie dem Nutzer zu.
9. Klicken Sie auf Weiter: Tags.
10. Klicken Sie auf Weiter: Überprüfen.
11. Klicken Sie auf Nutzer erstellen.

Berechtigungen für Amazon S3-Bucket konfigurieren

1. Wählen Sie in der Amazon S3-Konsole den Bucket aus, den Sie zuvor erstellt haben.
2. Klicken Sie auf Berechtigungen > Bucket-Richtlinie.

3. Fügen Sie im Bucket Policy Editor (Bucket-Richtlinieneditor) die folgende Richtlinie hinzu.

   {             
     "Version": "2012-10-17",
     "Statement": [
         {
           "Action": "s3:GetBucketAcl",
           "Effect": "Allow",
           "Resource": "arn:aws:s3:::cw-exported-logs",
           "Principal": { "Service": "logs.us-east-1.amazonaws.com" }
         },
         {
           "Action": "s3:PutObject" ,
           "Effect": "Allow",
           "Resource": "arn:aws:s3:::my-exported-logs/random-string/*",
           "Condition": { "StringEquals": { "s3:x-amz-acl": "bucket-owner-full-control" } },
           "Principal": { "Service": "logs.us-east-1.amazonaws.com" }
   
         }
   
     ]
   
   }
   

4. Ändern und aktualisieren Sie die folgenden json-Variablen:

   • Ändern Sie cw-exported-logs in den Namen Ihres S3-Buckets.
   • Ändern Sie random-string in eine zufällig generierte Zeichenfolge.
   • Achten Sie darauf, den richtigen Region-Endpunkt für Principal anzugeben.

5. Klicken Sie auf Speichern.

CloudWatch-Export konfigurieren

1. Melden Sie sich als der IAM-Nutzer an, den Sie zuvor erstellt haben.
2. Öffnen Sie die CloudWatch-Konsole.
3. Wählen Sie im Navigationsmenü Log groups (Log-Gruppen) aus.
4. Wählen Sie den Namen einer vorhandenen Loggruppe aus oder erstellen Sie eine neue.
5. Wählen Sie Aktionen > Daten nach Amazon S3 exportieren aus.
6. Suchen Sie auf dem Bildschirm Export data to Amazon S3 (Daten nach Amazon S3 exportieren) nach Define data export (Datenexport definieren).

7. Legen Sie mit Von und Bis den Zeitraum für die zu exportierenden Daten fest.

8. S3-Bucket auswählen: Wählen Sie das Konto aus, das mit dem Amazon S3-Bucket verknüpft ist.

9. S3-Bucket-Name: Wählen Sie einen Amazon S3-Bucket aus.

10. S3-Bucket-Präfix: Geben Sie den zufällig generierten String ein, den Sie in der Bucket-Richtlinie angegeben haben.

11. Wählen Sie Exportieren aus, um Ihre Protokolldaten nach Amazon S3 zu exportieren.

12. Wenn Sie den Status der Logdaten sehen möchten, die Sie nach Amazon S3 exportiert haben, wählen Sie Aktionen > Alle Exporte nach Amazon S3 ansehen aus.

Feed in Google SecOps konfigurieren, um AWS CloudWatch-Logs aufzunehmen

1. Rufen Sie die SIEM-Einstellungen > Feeds auf.
2. Klicken Sie auf Neuen Feed hinzufügen.
3. Geben Sie im Feld Feed name (Feedname) einen Namen für den Feed ein, z. B. AWS CloudWatch Logs.
4. Wählen Sie Amazon S3 V2 als Quelltyp aus.
5. Wählen Sie AWS CloudWatch als Logtyp aus.
6. Klicken Sie auf Weiter.

7. Geben Sie Werte für die folgenden Eingabeparameter an:

   • S3-URI: Der Bucket-URI
   • s3://your-log-bucket-name/
     • Ersetzen Sie your-log-bucket-name durch den tatsächlichen Namen des Buckets.

   • Optionen zum Löschen der Quelle: Wählen Sie die gewünschte Option zum Löschen aus.

   • Maximales Dateialter: Standardmäßig 180 Tage.

   • Zugriffsschlüssel-ID: Zugriffsschlüssel des Nutzers mit Zugriff auf den S3-Bucket.

   • Secret Access Key (Geheimer Zugriffsschlüssel): Geheimer Nutzersicherheitsschlüssel mit Zugriff auf den S3-Bucket.

   • Asset-Namespace: Der Asset-Namespace.

   • Aufnahmelabels: Das Label, das auf die Ereignisse aus diesem Feed angewendet werden soll.

8. Klicken Sie auf Weiter.

9. Prüfen Sie die neue Feedkonfiguration auf dem Bildschirm Abschließen und klicken Sie dann auf Senden.

CloudWatch-Logs mit AWS Data Firehose exportieren

Dieser Exportvorgang muss nach der Ersteinrichtung nicht regelmäßig durchgeführt werden.

Feed in Google SecOps konfigurieren, um AWS CloudWatch-Logs aufzunehmen

1. Rufen Sie die SIEM-Einstellungen > Feeds auf.
2. Klicken Sie auf + Neuen Feed hinzufügen.
3. Geben Sie im Feld Feed name (Feedname) einen Namen für den Feed ein, z. B. AWS CloudWatch Logs.
4. Wählen Sie Amazon Data Firehose als Quelltyp aus.
5. Wählen Sie AWS CloudWatch als Logtyp aus.
6. Klicken Sie auf Weiter.
7. Geben Sie Werte für die folgenden Eingabeparameter an:
   • Trennzeichen für Aufteilung: Optional \n.
   • Asset-Namespace: Der Asset-Namespace.
   • Aufnahmelabels: Das Label, das auf die Ereignisse aus diesem Feed angewendet werden soll.
8. Klicken Sie auf Weiter.
9. Prüfen Sie die Feedkonfiguration und klicken Sie auf Senden.
10. Klicken Sie auf Geheimen Schlüssel generieren, um einen geheimen Schlüssel zur Authentifizierung dieses Feeds zu generieren.
11. Kopieren und speichern Sie den geheimen Schlüssel, da Sie diesen Wert nicht noch einmal aufrufen können.
12. Wechseln Sie zum Tab Details.
13. Kopieren Sie die Feed-Endpunkt-URL aus dem Feld Endpoint Information (Endpunktinformationen).
14. Klicken Sie auf Fertig.

API-Schlüssel für den Amazon Data Firehose-Feed erstellen

1. Rufen Sie in der Google Cloud Console die Seite „Anmeldedaten“ auf.
2. Klicken Sie auf Anmeldedaten erstellen und wählen Sie dann API-Schlüssel aus.
3. Schränken Sie den Zugriff des API-Schlüssels auf die Google SecOps API ein.

Endpunkt-URL angeben

So geben Sie den HTTPS-Endpunkt und den Zugriffsschlüssel in Amazon Data Firehose an:

1. Hängen Sie den API-Schlüssel an die Feed-Endpunkt-URL an und geben Sie diese URL als HTTP-Endpunkt-URL im folgenden Format an:

   ENDPOINT_URL?key=API_KEY
   

   • Ersetzen Sie Folgendes:

     • ENDPOINT_URL: Die URL des Feed-Endpunkts.
     • API_KEY: Der API-Schlüssel für die Authentifizierung bei Google SecOps.

Geben Sie für den Zugriffsschlüssel den geheimen Schlüssel an, den Sie beim Erstellen des Amazon Data Firehose-Feeds erhalten haben.

Konfigurieren Sie Amazon Kinesis Data Firehose für Google SecOps {:#configure-kinesis-secops}.

1. Rufen Sie in der AWS Console Kinesis > Data Firehose > Create delivery stream auf.
2. Geben Sie die folgenden Konfigurationsdetails an:
   • Quelle: Wählen Sie Direkter PUT oder andere Quellen aus.
   • Ziel: Wählen Sie HTTP-Endpunkt aus.
   • HTTP-Endpunkt-URL: Geben Sie die Feed-HTTPS-Endpunkt-URL aus Google SecOps mit dem API-Schlüssel ein.
   • HTTP-Methode: Wählen Sie POST aus.
3. Geben Sie unter Zugriffsschlüssel die folgenden Details ein:
   • Header für geheimen Schlüssel: <HEADER_NAME_FOR_SECRET> mit dem Wert <YOUR_SECRET_KEY>
   • Pufferungshinweise: Legen Sie Puffergröße auf 1 MiB und Pufferintervall auf 60 Sekunden fest.
   • Komprimierung: Wählen Sie Deaktiviert aus.
   • S3-Sicherung: Wählen Sie Deaktiviert aus.
   • Behalten Sie für die Einstellungen retry und logging die Standardwerte bei.
4. Klicken Sie auf Lieferstream erstellen.

IAM-Berechtigungen konfigurieren und die Loggruppe abonnieren

1. Rufen Sie in der AWS Console IAM > Richtlinien > Richtlinie erstellen > JSON auf.

2. Fügen Sie die folgende Richtlinien-JSON ein und ersetzen Sie <region> und <account-id> durch Ihre AWS-Region und Konto-ID:

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Action": [
           "firehose:PutRecord",
           "firehose:PutRecordBatch"
         ],
         "Resource": "arn:aws:firehose:<region>:<account-id>:deliverystream/cwlogs-to-secops"
       }
     ]
   }
   

   1. Geben Sie der Richtlinie den Namen CWLtoFirehoseWrite und klicken Sie auf Richtlinie erstellen.
   2. Klicken Sie auf IAM > Rollen > Rolle erstellen.
   3. Wählen Sie Benutzerdefinierte Vertrauensrichtlinie aus und fügen Sie Folgendes ein:

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
           "Service": "logs.<your-region>.amazonaws.com"
         },
         "Action": "sts:AssumeRole"
       }
     ]
   }
   

3. Hängen Sie die Richtlinie CWLtoFirehoseWrite an die Rolle an.

4. Geben Sie der Rolle den Namen CWLtoFirehoseRole und klicken Sie auf Rolle erstellen.

5. Rufen Sie CloudWatch > Logs > Log groups auf.

6. Wählen Sie die Zielloggruppe aus.

7. Öffnen Sie den Tab Abo-Filter und klicken Sie auf Erstellen.

8. Wählen Sie Amazon Kinesis Data Firehose-Abo-Filter erstellen aus.

9. Geben Sie die folgenden Konfigurationsdetails an:

   • Ziel: Wählen Sie den Auslieferungsstream cwlogs-to-secops aus.
   • Berechtigung erteilen: Wählen Sie die Rolle CWLtoFirehoseRole aus.
   • Filtername: Geben Sie all-events ein.
   • Lassen Sie Filtermuster leer, um alle Ereignisse zu senden.

10. Klicken Sie auf Streaming starten.

UDM-Zuordnungstabelle

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten