AWS EC2-Instanzlogs erfassen

In diesem Dokument wird beschrieben, wie Sie AWS EC2-Instanzlogs für Monitoring und Analyse in Google Security Operations konfigurieren. Der Parser extrahiert Daten aus JSON-Logs für Instanzreservierungen, restrukturiert und benennt Felder um, um dem UDM zu entsprechen, verarbeitet verschiedene Datentypen und verschachtelte Strukturen, einschließlich Netzwerkschnittstellen, Gruppen und Tags, und generiert außerdem Asset-Beziehungen und ‑Metadaten. Außerdem werden Fehler behandelt und fehlerhaft formatierte JSON-Nachrichten verworfen.

Hinweise

• Prüfen Sie, ob Sie eine Google SecOps-Instanz haben.
• Prüfen Sie, ob Sie privilegierten Zugriff auf AWS haben.

AWS IAM und S3 konfigurieren

1. Erstellen Sie einen Amazon S3-Bucket. Folgen Sie dazu der Anleitung unter Bucket erstellen.
2. Speichern Sie den Namen und die Region des Buckets für die spätere Verwendung.
3. Erstellen Sie einen Nutzer gemäß dieser Anleitung: IAM-Nutzer erstellen.
4. Wählen Sie den erstellten Nutzer aus.
5. Wählen Sie den Tab Sicherheitsanmeldedaten aus.
6. Klicken Sie im Abschnitt Zugriffsschlüssel auf Zugriffsschlüssel erstellen.
7. Wählen Sie als Anwendungsfall Drittanbieterdienst aus.
8. Klicken Sie auf Weiter.
9. Optional: Fügen Sie ein Beschreibungstag hinzu.
10. Klicken Sie auf Zugriffsschlüssel erstellen.
11. Klicken Sie auf CSV-Datei herunterladen, um den Access Key (Zugriffsschlüssel) und den Secret Access Key (geheimer Zugriffsschlüssel) für die spätere Verwendung zu speichern.
12. Klicken Sie auf Fertig.
13. Wählen Sie den Tab Berechtigungen aus.
14. Klicken Sie im Bereich Berechtigungsrichtlinien auf Berechtigungen hinzufügen.
15. Wählen Sie Berechtigungen hinzufügen aus.
16. Wählen Sie Richtlinien direkt anhängen aus.
17. Suchen Sie nach der Richtlinie AmazonS3FullAccess und wählen Sie sie aus.
18. Klicken Sie auf Weiter.
19. Klicken Sie auf Berechtigungen hinzufügen.

EC2 so konfigurieren, dass Logs an CloudWatch Logs gesendet werden

1. Stellen Sie mit SSH eine Verbindung zu Ihrer EC2-Instanz her und geben Sie Ihr Schlüsselpaar zur Authentifizierung an.

   ssh -i your-key.pem ec2-user@your-ec2-public-ip
   

2. CloudWatch Logs-Agent installieren:

   • Verwenden Sie den folgenden Befehl, um den CloudWatch Logs-Agent unter Amazon Linux zu installieren:

   sudo yum install -y awslogs
   

   • Verwenden Sie den folgenden Befehl, um den CloudWatch Logs-Agent auf Ubuntu zu installieren:

   sudo apt-get install -y awslogs
   

3. Öffnen Sie die CloudWatch Logs-Konfigurationsdatei:

   sudo vi /etc/awslogs/awslogs.conf
   

4. Erstellen Sie ein Skript, das diese Log-Instanzmetadaten abruft und in eine Datei schreibt:

   #!/bin/bash
   echo "Architecture: $(curl -s http://169.254.169.254/latest/meta-data/architecture)" >> /var/log/instance_metadata.log
   echo "AmiLaunchIndex: $(curl -s http://169.254.169.254/latest/meta-data/ami-launch-index)" >> /var/log/instance_metadata.log
   echo "BootMode: $(curl -s http://169.254.169.254/latest/meta-data/boot-mode)" >> /var/log/instance_metadata.log
   

5. Speichern Sie das Skript als /etc/init.d/metadata_script.sh und führen Sie es beim Start der Instanz mit crontab oder rc.local aus.

6. Öffnen Sie die Konfigurationsdatei für den CloudWatch Logs-Agent:

   sudo vi /etc/awslogs/awslogs.conf
   

7. Fügen Sie der Konfigurationsdatei den folgenden Abschnitt hinzu:

   [/var/log/messages]
   file = /var/log/messages
   log_group_name = /ec2/system/logs
   log_stream_name = {instance_id}
   
   [/var/log/secure]
   file = /var/log/secure
   log_group_name = /ec2/security/logs
   log_stream_name = {instance_id}
   
   [/var/log/auth.log]
   file = /var/log/auth.log
   log_group_name = /ec2/auth/logs
   log_stream_name = {instance_id}
   
   [/var/log/httpd/access_log]
   file = /var/log/httpd/access_log
   log_group_name = /ec2/application/apache/access_logs
   log_stream_name = {instance_id}
   
   [/var/log/httpd/error_log]
   file = /var/log/httpd/error_log
   log_group_name = /ec2/application/apache/error_logs
   log_stream_name = {instance_id}
   

8. Speichern Sie die Konfiguration und beenden Sie den Editor.

9. Starten Sie den CloudWatch Logs-Agent:

   • Unter Amazon Linux:

   sudo service awslogs start
   

   • Unter Ubuntu:

   sudo service awslogs start
   

10. Prüfen Sie, ob der Agent ausgeführt wird:

    sudo service awslogs status
    

IAM-Berechtigungen für Lambda und S3 konfigurieren

1. Erstellen Sie in der AWS-IAM-Konsole eine neue IAM-Rolle mit den folgenden Berechtigungen:

   • logs:PutSubscriptionFilter
   • logs:DescribeLogGroups
   • logs:GetLogEvents
   • s3:PutObject

2. Weisen Sie diese Rolle Ihrer Lambda-Funktion zu, mit der die Logs nach S3 exportiert werden.

Lambda für den Export von Logs nach S3 konfigurieren

1. Rufen Sie die Lambda-Konsole auf und erstellen Sie eine neue Funktion.

   import boto3
   import gzip
   from io import BytesIO
   
   s3 = boto3.client('s3')
   logs = boto3.client('logs')
   
   def lambda_handler(event, context):
       log_group = event['logGroup']
       log_stream = event['logStream']
   
       log_events = logs.get_log_events(
           logGroupName=log_group,
           logStreamName=log_stream,
           startFromHead=True
       )
   
       log_data = "\n".join([event['message'] for event in log_events['events']])
   
       # Compress and upload to S3
       compressed_data = gzip.compress(log_data.encode('utf-8'))
       s3.put_object(
           Bucket='your-s3-bucket-name',
           Key='logs/ec2-log.gz',
           Body=compressed_data
       )
     ```
   

   • Ersetzen Sie your-s3-bucket-name durch den tatsächlichen Namen Ihres S3-Buckets.

2. Hängen Sie die IAM-Rolle an die zuvor erstellte Lambda-Funktion an.

3. Rufen Sie in der CloudWatch-Konsole den Bereich „Logs“ auf.

4. Wählen Sie die Loggruppe aus, z. B. /ec2/system/logs.

5. Klicken Sie auf Aktionen > Abo-Filter erstellen.

6. Legen Sie das Ziel auf die zuvor erstellte Lambda-Funktion fest.

Feed in Google SecOps konfigurieren, um AWS EC2-Instanzlogs aufzunehmen

1. Rufen Sie die SIEM-Einstellungen> Feeds auf.
2. Klicken Sie auf Neu hinzufügen.
3. Geben Sie im Feld Feed name (Feedname) einen Namen für den Feed ein, z. B. AWS EC2 Instance Logs (AWS EC2-Instanzprotokolle).
4. Wählen Sie Amazon S3 als Quelltyp aus.
5. Wählen Sie AWS EC2-Instanz als Logtyp aus.
6. Klicken Sie auf Weiter.

7. Geben Sie Werte für die folgenden Eingabeparameter an:

   • Region: Die Region, in der sich der Amazon S3-Bucket befindet.
   • S3-URI: Der Bucket-URI.
     • s3://your-log-bucket-name/
       • Ersetzen Sie your-log-bucket-name durch den tatsächlichen Namen des Buckets.
   • URI ist ein: Wählen Sie Verzeichnis oder Verzeichnis mit Unterverzeichnissen aus.

   • Optionen zum Löschen der Quelle: Wählen Sie die gewünschte Option aus.

   • Zugriffsschlüssel-ID: Der Nutzerzugriffsschlüssel mit Zugriff auf den S3-Bucket.

   • Secret Access Key (Geheimer Zugriffsschlüssel): Der geheime Schlüssel des Nutzers mit Zugriff auf den S3-Bucket.

   • Asset-Namespace: der Asset-Namespace.

   • Aufnahmelabels: Das Label, das auf die Ereignisse aus diesem Feed angewendet werden soll.

8. Klicken Sie auf Weiter.

9. Prüfen Sie die neue Feedkonfiguration auf dem Bildschirm Abschließen und klicken Sie dann auf Senden.

UDM-Zuordnungstabelle

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten