AWS EC2-Instanzprotokolle erfassen

In diesem Dokument wird beschrieben, wie Sie AWS EC2-Instanzprotokolle für das Monitoring und die Analyse in Google Security Operations konfigurieren. Der Parser extrahiert Daten aus JSON-Logs zur Instanzreservierung, strukturiert und benennt Felder so um, dass sie dem UDM entsprechen, verarbeitet verschiedene Datentypen und verschachtelte Strukturen, einschließlich Netzwerkschnittstellen, Gruppen und Tags, und generiert gleichzeitig Asset-Beziehungen und Metadaten. Außerdem wird die Fehlerbehandlung durchgeführt und fehlerhaft formatierte JSON-Nachrichten werden verworfen.

Hinweise

• Sie benötigen eine Google SecOps-Instanz.
• Sie benötigen erhöhte Zugriffsrechte für AWS.

AWS IAM und S3 konfigurieren

1. Erstellen Sie einen Amazon S3-Bucket. Folgen Sie dazu der Anleitung unter Bucket erstellen.
2. Speichern Sie den Namen und die Region des Buckets für später.
3. Erstellen Sie einen Nutzer gemäß der Anleitung IAM-Nutzer erstellen.
4. Wählen Sie den erstellten Nutzer aus.
5. Wählen Sie den Tab Sicherheitsanmeldedaten aus.
6. Klicken Sie im Bereich Zugriffsschlüssel auf Zugriffsschlüssel erstellen.
7. Wählen Sie als Anwendungsfall Drittanbieterdienst aus.
8. Klicken Sie auf Weiter.
9. Optional: Fügen Sie ein Beschreibungs-Tag hinzu.
10. Klicken Sie auf Zugriffsschlüssel erstellen.
11. Klicken Sie auf CSV-Datei herunterladen, um den Zugriffsschlüssel und den Secret Access Key zur späteren Verwendung zu speichern.
12. Klicken Sie auf Fertig.
13. Wählen Sie den Tab Berechtigungen aus.
14. Klicken Sie im Bereich Berechtigungsrichtlinien auf Berechtigungen hinzufügen.
15. Wählen Sie Berechtigungen hinzufügen aus.
16. Wählen Sie Richtlinien direkt anhängen aus.
17. Suchen Sie nach der Richtlinie AmazonS3FullAccess und wählen Sie sie aus.
18. Klicken Sie auf Weiter.
19. Klicken Sie auf Berechtigungen hinzufügen.

EC2 so konfigurieren, dass Protokolle an CloudWatch-Protokolle gesendet werden

1. Stellen Sie mit SSH eine Verbindung zu Ihrer EC2-Instanz her und geben Sie Ihr Schlüsselpaar für die Authentifizierung an.

   ssh -i your-key.pem ec2-user@your-ec2-public-ip
   

2. CloudWatch Logs-Agent installieren:

   • Verwenden Sie den folgenden Befehl, um den CloudWatch Logs-Agent unter Amazon Linux zu installieren:

   sudo yum install -y awslogs
   

   • Verwenden Sie den folgenden Befehl, um den CloudWatch Logs-Agent unter Ubuntu zu installieren:

   sudo apt-get install -y awslogs
   

3. Öffnen Sie die Konfigurationsdatei für CloudWatch Logs:

   sudo vi /etc/awslogs/awslogs.conf
   

4. Erstellen Sie ein Script, das diese Metadaten für die Protokollinstanz abruft und in eine Datei schreibt:

   #!/bin/bash
   echo "Architecture: $(curl -s http://169.254.169.254/latest/meta-data/architecture)" >> /var/log/instance_metadata.log
   echo "AmiLaunchIndex: $(curl -s http://169.254.169.254/latest/meta-data/ami-launch-index)" >> /var/log/instance_metadata.log
   echo "BootMode: $(curl -s http://169.254.169.254/latest/meta-data/boot-mode)" >> /var/log/instance_metadata.log
   

5. Speichern Sie das Script als /etc/init.d/metadata_script.sh und führen Sie es beim Starten der Instanz mit crontab oder rc.local aus.

6. Öffnen Sie die Konfigurationsdatei für den CloudWatch Logs-Agenten:

   sudo vi /etc/awslogs/awslogs.conf
   

7. Fügen Sie der Konfigurationsdatei den folgenden Abschnitt hinzu:

   [/var/log/messages]
   file = /var/log/messages
   log_group_name = /ec2/system/logs
   log_stream_name = {instance_id}
   
   [/var/log/secure]
   file = /var/log/secure
   log_group_name = /ec2/security/logs
   log_stream_name = {instance_id}
   
   [/var/log/auth.log]
   file = /var/log/auth.log
   log_group_name = /ec2/auth/logs
   log_stream_name = {instance_id}
   
   [/var/log/httpd/access_log]
   file = /var/log/httpd/access_log
   log_group_name = /ec2/application/apache/access_logs
   log_stream_name = {instance_id}
   
   [/var/log/httpd/error_log]
   file = /var/log/httpd/error_log
   log_group_name = /ec2/application/apache/error_logs
   log_stream_name = {instance_id}
   

8. Speichern Sie die Konfiguration und beenden Sie den Editor.

9. Starten Sie den CloudWatch Logs-Agent:

   • Unter Amazon Linux:

   sudo service awslogs start
   

   • Unter Ubuntu:

   sudo service awslogs start
   

10. Prüfen Sie, ob der Agent ausgeführt wird:

    sudo service awslogs status
    

IAM-Berechtigungen für Lambda und S3 konfigurieren

1. Erstellen Sie in der AWS IAM-Konsole eine neue IAM-Rolle mit den folgenden Berechtigungen:

   • logs:PutSubscriptionFilter
   • logs:DescribeLogGroups
   • logs:GetLogEvents
   • s3:PutObject

2. Verknüpfen Sie diese Rolle mit Ihrer Lambda-Funktion, die die Protokolle nach S3 exportiert.

Lambda für den Export von Protokollen in S3 konfigurieren

1. Rufen Sie die Lambda Console auf und erstellen Sie eine neue Funktion.

   import boto3
   import gzip
   from io import BytesIO
   
   s3 = boto3.client('s3')
   logs = boto3.client('logs')
   
   def lambda_handler(event, context):
       log_group = event['logGroup']
       log_stream = event['logStream']
   
       log_events = logs.get_log_events(
           logGroupName=log_group,
           logStreamName=log_stream,
           startFromHead=True
       )
   
       log_data = "\n".join([event['message'] for event in log_events['events']])
   
       # Compress and upload to S3
       compressed_data = gzip.compress(log_data.encode('utf-8'))
       s3.put_object(
           Bucket='your-s3-bucket-name',
           Key='logs/ec2-log.gz',
           Body=compressed_data
       )
     ```
   

   • Ersetzen Sie your-s3-bucket-name durch den tatsächlichen Namen Ihres S3-Buckets.

2. Verknüpfen Sie die IAM-Rolle mit der zuvor erstellten Lambda-Funktion.

3. Rufen Sie in der CloudWatch-Konsole den Bereich Protokolle auf.

4. Wählen Sie die Protokollgruppe aus, z. B. /ec2/system/logs.

5. Klicken Sie auf Aktionen > Abofilter erstellen.

6. Legen Sie als Ziel die zuvor erstellte Lambda-Funktion fest.

Feed in Google SecOps für die Aufnahme von AWS EC2-Instanzprotokollen konfigurieren

1. Gehen Sie zu SIEM-Einstellungen > Feeds.
2. Klicken Sie auf Neu hinzufügen.
3. Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B. AWS EC2-Instanzprotokolle.
4. Wählen Sie als Quelltyp Amazon S3 aus.
5. Wählen Sie AWS EC2-Instanz als Logtyp aus.
6. Klicken Sie auf Weiter.

7. Geben Sie Werte für die folgenden Eingabeparameter an:

   • Region: die Region, in der sich der Amazon S3-Bucket befindet.
   • S3-URI: der Bucket-URI.
     • s3://your-log-bucket-name/
       • Ersetzen Sie your-log-bucket-name durch den tatsächlichen Namen des Buckets.
   • URI ist ein: Wählen Sie Verzeichnis oder Verzeichnis mit Unterverzeichnissen aus.

   • Optionen zum Löschen der Quelle: Wählen Sie die gewünschte Löschoption aus.

   • Access Key ID: Der Nutzerzugriffsschlüssel mit Zugriff auf den S3-Bucket.

   • Secret Access Key: Der geheime Schlüssel des Nutzers mit Zugriff auf den S3-Bucket.

   • Asset-Namespace: der Asset-Namespace.

   • Aufnahmelabels: Das Label, das auf die Ereignisse aus diesem Feed angewendet werden soll.

8. Klicken Sie auf Weiter.

9. Prüfen Sie die neue Feedkonfiguration auf dem Bildschirm Abschließen und klicken Sie dann auf Senden.

UDM-Zuordnungstabelle

Änderungen

2024-01-31

• Unterstützung für neues Schema hinzugefügt.

2023-12-14

• Neu erstellter Parser.

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten