Collecter les journaux d'instance AWS EC2

Ce document explique comment configurer les journaux d'instance AWS EC2 dans Google Security Operations pour la surveillance et l'analyse. Le parseur extrait les données des journaux JSON de réservation d'instance, restructure et renomme les champs pour les rendre conformes à l'UDM. Il gère différents types de données et structures imbriquées, y compris les interfaces réseau, les groupes et les tags. Il génère également des relations et des métadonnées d'assets. Il gère également les erreurs et supprime les messages JSON mal formés.

Avant de commencer

• Assurez-vous de disposer d'une instance Google SecOps.
• Assurez-vous de disposer d'un accès privilégié à AWS.

Configurer AWS IAM et S3

1. Créez un bucket Amazon S3 en suivant ce guide de l'utilisateur : Créer un bucket.
2. Enregistrez le nom et la région du bucket pour une utilisation ultérieure.
3. Créez un utilisateur en suivant ce guide : Créer un utilisateur IAM.
4. Sélectionnez l'utilisateur créé.
5. Sélectionnez l'onglet Informations d'identification de sécurité.
6. Cliquez sur Créer une clé d'accès dans la section Clés d'accès.
7. Sélectionnez Service tiers comme Cas d'utilisation.
8. Cliquez sur Suivant.
9. Facultatif : ajoutez un tag de description.
10. Cliquez sur Créer une clé d'accès.
11. Cliquez sur Télécharger le fichier CSV pour enregistrer la clé d'accès et la clé d'accès secrète pour une utilisation ultérieure.
12. Cliquez sur OK.
13. Sélectionnez l'onglet Autorisations.
14. Cliquez sur Ajouter des autorisations dans la section Règles d'autorisation.
15. Sélectionnez Ajouter des autorisations.
16. Sélectionnez Joindre directement des règles.
17. Recherchez et sélectionnez la règle AmazonS3FullAccess.
18. Cliquez sur Suivant.
19. Cliquez sur Ajouter des autorisations.

Configurer EC2 pour envoyer des journaux à CloudWatch Logs

1. Utilisez SSH pour vous connecter à votre instance EC2, en fournissant votre paire de clés pour l'authentification.

   ssh -i your-key.pem ec2-user@your-ec2-public-ip
   

2. Installez l'agent CloudWatch Logs :

   • Pour installer l'agent CloudWatch Logs sur Amazon Linux, utilisez la commande suivante :

   sudo yum install -y awslogs
   

   • Pour installer l'agent CloudWatch Logs sur Ubuntu, utilisez la commande suivante :

   sudo apt-get install -y awslogs
   

3. Ouvrez le fichier de configuration CloudWatch Logs :

   sudo vi /etc/awslogs/awslogs.conf
   

4. Créez un script qui récupère ces métadonnées d'instance de journal et les écrit dans un fichier :

   #!/bin/bash
   echo "Architecture: $(curl -s http://169.254.169.254/latest/meta-data/architecture)" >> /var/log/instance_metadata.log
   echo "AmiLaunchIndex: $(curl -s http://169.254.169.254/latest/meta-data/ami-launch-index)" >> /var/log/instance_metadata.log
   echo "BootMode: $(curl -s http://169.254.169.254/latest/meta-data/boot-mode)" >> /var/log/instance_metadata.log
   

5. Enregistrez le script sous le nom /etc/init.d/metadata_script.sh et exécutez-le au démarrage de l'instance à l'aide de crontab ou rc.local.

6. Ouvrez le fichier de configuration de l'agent CloudWatch Logs :

   sudo vi /etc/awslogs/awslogs.conf
   

7. Ajoutez ce qui suit au fichier de configuration :

   [/var/log/messages]
   file = /var/log/messages
   log_group_name = /ec2/system/logs
   log_stream_name = {instance_id}
   
   [/var/log/secure]
   file = /var/log/secure
   log_group_name = /ec2/security/logs
   log_stream_name = {instance_id}
   
   [/var/log/auth.log]
   file = /var/log/auth.log
   log_group_name = /ec2/auth/logs
   log_stream_name = {instance_id}
   
   [/var/log/httpd/access_log]
   file = /var/log/httpd/access_log
   log_group_name = /ec2/application/apache/access_logs
   log_stream_name = {instance_id}
   
   [/var/log/httpd/error_log]
   file = /var/log/httpd/error_log
   log_group_name = /ec2/application/apache/error_logs
   log_stream_name = {instance_id}
   

8. Enregistrez la configuration et quittez l'éditeur.

9. Démarrez l'agent CloudWatch Logs :

   • Sur Amazon Linux :

   sudo service awslogs start
   

   • Sur Ubuntu :

   sudo service awslogs start
   

10. Vérifiez que l'agent est en cours d'exécution :

    sudo service awslogs status
    

Configurer les autorisations IAM pour Lambda et S3

1. Dans la console AWS IAM, créez un rôle IAM avec les autorisations suivantes :

   • logs:PutSubscriptionFilter
   • logs:DescribeLogGroups
   • logs:GetLogEvents
   • s3:PutObject

2. Associez ce rôle à votre fonction Lambda qui exportera les journaux vers S3.

Configurer Lambda pour exporter les journaux vers S3

1. Accédez à la console Lambda et créez une fonction.

   import boto3
   import gzip
   from io import BytesIO
   
   s3 = boto3.client('s3')
   logs = boto3.client('logs')
   
   def lambda_handler(event, context):
       log_group = event['logGroup']
       log_stream = event['logStream']
   
       log_events = logs.get_log_events(
           logGroupName=log_group,
           logStreamName=log_stream,
           startFromHead=True
       )
   
       log_data = "\n".join([event['message'] for event in log_events['events']])
   
       # Compress and upload to S3
       compressed_data = gzip.compress(log_data.encode('utf-8'))
       s3.put_object(
           Bucket='your-s3-bucket-name',
           Key='logs/ec2-log.gz',
           Body=compressed_data
       )
     ```
   

   • Remplacez your-s3-bucket-name par le nom réel de votre bucket S3.

2. Associez le rôle IAM à la fonction Lambda créée précédemment.

3. Dans la console CloudWatch, accédez à la section Logs (Journaux).

4. Sélectionnez le groupe de journaux (par exemple, /ec2/system/logs).

5. Cliquez sur Actions > Créer un filtre d'abonnement.

6. Définissez la destination sur la fonction Lambda créée précédemment.

Configurer un flux dans Google SecOps pour ingérer les journaux d'instance AWS EC2

1. Accédez à Paramètres SIEM> Flux.
2. Cliquez sur Ajouter.
3. Dans le champ Nom du flux, saisissez un nom pour le flux (par exemple, Journaux d'instance AWS EC2).
4. Sélectionnez Amazon S3 comme Type de source.
5. Sélectionnez Instance AWS EC2 comme type de journal.
6. Cliquez sur Suivant.

7. Spécifiez les valeurs des paramètres d'entrée suivants :

   • Région : région dans laquelle se trouve le bucket Amazon S3.
   • URI S3 : URI du bucket.
     • s3://your-log-bucket-name/
       • Remplacez your-log-bucket-name par le nom réel du bucket.
   • L'URI est : sélectionnez Répertoire ou Répertoire incluant des sous-répertoires.

   • Options de suppression de la source : sélectionnez l'option de suppression de votre choix.

   • ID de clé d'accès : clé d'accès utilisateur ayant accès au bucket S3.

   • Clé d'accès secrète : clé secrète de l'utilisateur ayant accès au bucket S3.

   • Espace de noms de l'élément : espace de noms de l'élément.

   • Libellés d'ingestion : libellé à appliquer aux événements de ce flux.

8. Cliquez sur Suivant.

9. Vérifiez la configuration de votre nouveau flux sur l'écran Finaliser, puis cliquez sur Envoyer.

Table de mappage UDM

Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.