Raccogliere i log delle istanze AWS EC2

Questo documento spiega come configurare i log delle istanze AWS EC2 in Google Security Operations per il monitoraggio e l'analisi. Il parser estrae i dati dai log JSON di prenotazione delle istanze, ristruttura e rinomina i campi in modo che siano conformi al modello UDM, gestendo vari tipi di dati e strutture nidificate, tra cui interfacce di rete, gruppi e tag, e generando anche relazioni e metadati degli asset. Esegue anche la gestione degli errori e l'eliminazione dei messaggi JSON non validi.

Prima di iniziare

• Assicurati di avere un'istanza Google SecOps.
• Assicurati di disporre dell'accesso con privilegi ad AWS.

Configura AWS IAM e S3

1. Crea un bucket Amazon S3 seguendo questa guida utente: Creazione di un bucket.
2. Salva il Nome e la Regione del bucket per utilizzarli in un secondo momento.
3. Crea un utente seguendo questa guida: Creazione di un utente IAM.
4. Seleziona l'utente creato.
5. Seleziona la scheda Credenziali di sicurezza.
6. Fai clic su Crea chiave di accesso nella sezione Chiavi di accesso.
7. Seleziona Servizio di terze parti come Caso d'uso.
8. Fai clic su Avanti.
9. (Facoltativo) Aggiungi un tag di descrizione.
10. Fai clic su Crea chiave di accesso.
11. Fai clic su Scarica file CSV per salvare la chiave di accesso e la chiave di accesso segreta per un utilizzo successivo.
12. Fai clic su Fine.
13. Seleziona la scheda Autorizzazioni.
14. Fai clic su Aggiungi autorizzazioni nella sezione Norme relative alle autorizzazioni.
15. Seleziona Aggiungi autorizzazioni.
16. Seleziona Collega direttamente i criteri.
17. Cerca e seleziona il criterio AmazonS3FullAccess.
18. Fai clic su Avanti.
19. Fai clic su Aggiungi autorizzazioni.

Configura EC2 per inviare i log a CloudWatch Logs

1. Utilizza SSH per connetterti all'istanza EC2, fornendo la coppia di chiavi per l'autenticazione.

   ssh -i your-key.pem ec2-user@your-ec2-public-ip
   

2. Installa l'agente CloudWatch Logs:

   • Per installare l'agente CloudWatch Logs su Amazon Linux, utilizza il seguente comando:

   sudo yum install -y awslogs
   

   • Per installare l'agente CloudWatch Logs su Ubuntu, utilizza il seguente comando:

   sudo apt-get install -y awslogs
   

3. Apri il file di configurazione di CloudWatch Logs:

   sudo vi /etc/awslogs/awslogs.conf
   

4. Crea uno script che recuperi questi metadati dell'istanza di log e li scriva in un file:

   #!/bin/bash
   echo "Architecture: $(curl -s http://169.254.169.254/latest/meta-data/architecture)" >> /var/log/instance_metadata.log
   echo "AmiLaunchIndex: $(curl -s http://169.254.169.254/latest/meta-data/ami-launch-index)" >> /var/log/instance_metadata.log
   echo "BootMode: $(curl -s http://169.254.169.254/latest/meta-data/boot-mode)" >> /var/log/instance_metadata.log
   

5. Salva lo script come /etc/init.d/metadata_script.sh ed eseguilo all'avvio dell'istanza utilizzando crontab o rc.local.

6. Apri il file di configurazione per l'agente CloudWatch Logs:

   sudo vi /etc/awslogs/awslogs.conf
   

7. Aggiungi quanto segue al file di configurazione:

   [/var/log/messages]
   file = /var/log/messages
   log_group_name = /ec2/system/logs
   log_stream_name = {instance_id}
   
   [/var/log/secure]
   file = /var/log/secure
   log_group_name = /ec2/security/logs
   log_stream_name = {instance_id}
   
   [/var/log/auth.log]
   file = /var/log/auth.log
   log_group_name = /ec2/auth/logs
   log_stream_name = {instance_id}
   
   [/var/log/httpd/access_log]
   file = /var/log/httpd/access_log
   log_group_name = /ec2/application/apache/access_logs
   log_stream_name = {instance_id}
   
   [/var/log/httpd/error_log]
   file = /var/log/httpd/error_log
   log_group_name = /ec2/application/apache/error_logs
   log_stream_name = {instance_id}
   

8. Salva la configurazione ed esci dall'editor.

9. Avvia l'agente CloudWatch Logs:

   • Su Amazon Linux:

   sudo service awslogs start
   

   • Su Ubuntu:

   sudo service awslogs start
   

10. Verifica che l'agente sia in esecuzione:

    sudo service awslogs status
    

Configura le autorizzazioni IAM per Lambda e S3

1. Nella console AWS IAM, crea un nuovo ruolo IAM con le seguenti autorizzazioni:

   • logs:PutSubscriptionFilter
   • logs:DescribeLogGroups
   • logs:GetLogEvents
   • s3:PutObject

2. Collega questo ruolo alla tua funzione Lambda che esporterà i log in S3.

Configura Lambda per esportare i log in S3

1. Vai alla console Lambda e crea una nuova funzione.

   import boto3
   import gzip
   from io import BytesIO
   
   s3 = boto3.client('s3')
   logs = boto3.client('logs')
   
   def lambda_handler(event, context):
       log_group = event['logGroup']
       log_stream = event['logStream']
   
       log_events = logs.get_log_events(
           logGroupName=log_group,
           logStreamName=log_stream,
           startFromHead=True
       )
   
       log_data = "\n".join([event['message'] for event in log_events['events']])
   
       # Compress and upload to S3
       compressed_data = gzip.compress(log_data.encode('utf-8'))
       s3.put_object(
           Bucket='your-s3-bucket-name',
           Key='logs/ec2-log.gz',
           Body=compressed_data
       )
     ```
   

   • Sostituisci your-s3-bucket-name con il nome effettivo del tuo bucket S3.

2. Collega il ruolo IAM alla funzione Lambda creata in precedenza.

3. Nella console CloudWatch, vai alla sezione Log.

4. Seleziona il gruppo di log, ad esempio /ec2/system/logs.

5. Fai clic su Azioni > Crea filtro di abbonamento.

6. Imposta la destinazione sulla funzione Lambda creata in precedenza.

Configura un feed in Google SecOps per importare i log delle istanze AWS EC2

1. Vai a Impostazioni SIEM > Feed.
2. Fai clic su Aggiungi nuovo.
3. Nel campo Nome feed, inserisci un nome per il feed, ad esempio AWS EC2 Instance Logs.
4. Seleziona Amazon S3 come Tipo di origine.
5. Seleziona Istanza AWS EC2 come Tipo di log.
6. Fai clic su Avanti.

7. Specifica i valori per i seguenti parametri di input:

   • Region (Regione): la regione in cui si trova il bucket Amazon S3.
   • URI S3: l'URI del bucket.
     • s3://your-log-bucket-name/
       • Sostituisci your-log-bucket-name con il nome effettivo del bucket.
   • L'URI è una: seleziona Directory o Directory che include sottodirectory.

   • Opzioni di eliminazione dell'origine: seleziona l'opzione di eliminazione in base alle tue preferenze.

   • ID chiave di accesso: la chiave di accesso utente con accesso al bucket S3.

   • Chiave di accesso segreta: la chiave segreta dell'utente con accesso al bucket S3.

   • Spazio dei nomi dell'asset: lo spazio dei nomi dell'asset.

   • Etichette di importazione: l'etichetta da applicare agli eventi di questo feed.

8. Fai clic su Avanti.

9. Controlla la nuova configurazione del feed nella schermata Finalizza e poi fai clic su Invia.

Tabella di mappatura UDM

Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.