Collecter les journaux des instances AWS EC2

Ce document explique comment configurer les journaux d'instance AWS EC2 dans Google Security Operations à des fins de surveillance et d'analyse. L'analyseur extrait les données des journaux JSON de réservation d'instances, restructure et renomme les champs pour les conformer à l'UDM, gère divers types de données et structures imbriquées, y compris les interfaces réseau, les groupes et les tags, tout en générant des relations d'éléments et des métadonnées. Il gère également les erreurs et supprime les messages JSON incorrects.

Avant de commencer

• Assurez-vous de disposer d'une instance Google SecOps.
• Assurez-vous de disposer d'un accès privilégié à AWS.

Configurer AWS IAM et S3

1. Créez un bucket Amazon S3 en suivant ce guide de l'utilisateur: Créer un bucket.
2. Enregistrez le nom et la région du bucket pour une utilisation ultérieure.
3. Créez un utilisateur en suivant le guide de l'utilisateur Créer un utilisateur IAM.
4. Sélectionnez le compte utilisateur créé.
5. Sélectionnez l'onglet Informations d'identification de sécurité.
6. Cliquez sur Créer une clé d'accès dans la section Clés d'accès.
7. Sélectionnez Service tiers comme Cas d'utilisation.
8. Cliquez sur Suivant.
9. Facultatif: ajoutez une balise de description.
10. Cliquez sur Créer une clé d'accès.
11. Cliquez sur Download CSV file (Télécharger le fichier CSV) pour enregistrer la clé d'accès et la clé d'accès secrète pour les utiliser ultérieurement.
12. Cliquez sur OK.
13. Sélectionnez l'onglet Autorisations.
14. Cliquez sur Ajouter des autorisations dans la section Règles d'autorisation.
15. Sélectionnez Ajouter des autorisations.
16. Sélectionnez Joindre directement des règles.
17. Recherchez et sélectionnez la règle AmazonS3FullAccess.
18. Cliquez sur Suivant.
19. Cliquez sur Ajouter des autorisations.

Configurer EC2 pour envoyer des journaux à CloudWatch Logs

1. Utilisez SSH pour vous connecter à votre instance EC2, en fournissant votre paire de clés pour l'authentification.

   ssh -i your-key.pem ec2-user@your-ec2-public-ip
   

2. Installez l'agent CloudWatch Logs:

   • Pour installer l'agent CloudWatch Logs sur Amazon Linux, exécutez la commande suivante:

   sudo yum install -y awslogs
   

   • Pour installer l'agent CloudWatch Logs sur Ubuntu, exécutez la commande suivante:

   sudo apt-get install -y awslogs
   

3. Ouvrez le fichier de configuration des journaux CloudWatch:

   sudo vi /etc/awslogs/awslogs.conf
   

4. Créez un script qui extrait ces métadonnées d'instance de journal et les écrit dans un fichier:

   #!/bin/bash
   echo "Architecture: $(curl -s http://169.254.169.254/latest/meta-data/architecture)" >> /var/log/instance_metadata.log
   echo "AmiLaunchIndex: $(curl -s http://169.254.169.254/latest/meta-data/ami-launch-index)" >> /var/log/instance_metadata.log
   echo "BootMode: $(curl -s http://169.254.169.254/latest/meta-data/boot-mode)" >> /var/log/instance_metadata.log
   

5. Enregistrez le script sous le nom /etc/init.d/metadata_script.sh et exécutez-le au démarrage de l'instance à l'aide de crontab ou de rc.local.

6. Ouvrez le fichier de configuration de l'agent CloudWatch Logs:

   sudo vi /etc/awslogs/awslogs.conf
   

7. Ajoutez ce qui suit au fichier de configuration :

   [/var/log/messages]
   file = /var/log/messages
   log_group_name = /ec2/system/logs
   log_stream_name = {instance_id}
   
   [/var/log/secure]
   file = /var/log/secure
   log_group_name = /ec2/security/logs
   log_stream_name = {instance_id}
   
   [/var/log/auth.log]
   file = /var/log/auth.log
   log_group_name = /ec2/auth/logs
   log_stream_name = {instance_id}
   
   [/var/log/httpd/access_log]
   file = /var/log/httpd/access_log
   log_group_name = /ec2/application/apache/access_logs
   log_stream_name = {instance_id}
   
   [/var/log/httpd/error_log]
   file = /var/log/httpd/error_log
   log_group_name = /ec2/application/apache/error_logs
   log_stream_name = {instance_id}
   

8. Enregistrez la configuration, puis quittez l'éditeur.

9. Démarrez l'agent CloudWatch Logs:

   • Sous Amazon Linux:

   sudo service awslogs start
   

   • Sur Ubuntu:

   sudo service awslogs start
   

10. Vérifiez que l'agent est en cours d'exécution :

    sudo service awslogs status
    

Configurer les autorisations IAM pour Lambda et S3

1. Dans la console AWS IAM, créez un rôle IAM avec les autorisations suivantes:

   • logs:PutSubscriptionFilter
   • logs:DescribeLogGroups
   • logs:GetLogEvents
   • s3:PutObject

2. Associez ce rôle à votre fonction Lambda qui exportera les journaux vers S3.

Configurer Lambda pour exporter des journaux vers S3

1. Accédez à la console Lambda et créez une fonction.

   import boto3
   import gzip
   from io import BytesIO
   
   s3 = boto3.client('s3')
   logs = boto3.client('logs')
   
   def lambda_handler(event, context):
       log_group = event['logGroup']
       log_stream = event['logStream']
   
       log_events = logs.get_log_events(
           logGroupName=log_group,
           logStreamName=log_stream,
           startFromHead=True
       )
   
       log_data = "\n".join([event['message'] for event in log_events['events']])
   
       # Compress and upload to S3
       compressed_data = gzip.compress(log_data.encode('utf-8'))
       s3.put_object(
           Bucket='your-s3-bucket-name',
           Key='logs/ec2-log.gz',
           Body=compressed_data
       )
     ```
   

   • Remplacez your-s3-bucket-name par le nom réel de votre bucket S3.

2. Associez le rôle IAM à la fonction Lambda créée précédemment.

3. Dans la console CloudWatch, accédez à la section Journaux.

4. Sélectionnez le groupe de journaux, par exemple /ec2/system/logs.

5. Cliquez sur Actions > Créer un filtre d'abonnement.

6. Définissez la destination sur la fonction Lambda créée précédemment.

Configurer un flux dans Google SecOps pour ingérer les journaux des instances EC2 AWS

1. Accédez à SIEM Settings > Feeds (Paramètres du SIEM > Flux).
2. Cliquez sur Ajouter.
3. Dans le champ Nom du flux, saisissez un nom pour le flux (par exemple, Journaux d'instance AWS EC2).
4. Sélectionnez Amazon S3 comme Type de source.
5. Sélectionnez Instance AWS EC2 comme type de journal.
6. Cliquez sur Suivant.

7. Spécifiez les valeurs des paramètres d'entrée suivants:

   • Region (Région) : région dans laquelle se trouve le bucket Amazon S3.
   • URI S3: URI du bucket.
     • s3://your-log-bucket-name/
       • Remplacez your-log-bucket-name par le nom réel du bucket.
   • Un URI est: sélectionnez Répertoire ou Répertoire incluant des sous-répertoires.

   • Options de suppression de la source: sélectionnez l'option de suppression en fonction de vos préférences.

   • ID de clé d'accès: clé d'accès utilisateur ayant accès au bucket S3.

   • Clé d'accès secrète: clé secrète de l'utilisateur ayant accès au bucket S3.

   • Espace de noms des éléments: espace de noms des éléments.

   • Libellés d'ingestion: libellé à appliquer aux événements de ce flux.

8. Cliquez sur Suivant.

9. Vérifiez la configuration de votre nouveau flux dans l'écran Finaliser, puis cliquez sur Envoyer.

Tableau de mappage UDM

Modifications

2024-01-31

• Ajout de la compatibilité avec le nouveau schéma.

2023-12-14

• Analyseur nouvellement créé.

Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.