Recopila registros de instancias EC2 de AWS

En este documento, se explica cómo configurar los registros de instancias de AWS EC2 en Google Security Operations para la supervisión y el análisis. El analizador extrae datos de los registros JSON de reserva de instancias, reestructura y cambia el nombre de los campos para que se ajusten al UDM, controla varios tipos de datos y estructuras anidadas, incluidas las interfaces de red, los grupos y las etiquetas, y también genera relaciones y metadatos de activos. También manejo de errores y descarta los mensajes JSON con formato incorrecto.

Antes de comenzar

• Asegúrate de tener una instancia de Google SecOps.
• Asegúrate de tener acceso con privilegios a AWS.

Configura IAM y S3 de AWS

1. Crea un bucket de Amazon S3 siguiendo esta guía del usuario: Cómo crear un bucket.
2. Guarda el Nombre y la Región del bucket para usarlos más adelante.
3. Crea un usuario siguiendo esta guía del usuario: Cómo crear un usuario de IAM.
4. Selecciona el usuario creado.
5. Selecciona la pestaña Credenciales de seguridad.
6. Haz clic en Crear clave de acceso en la sección Claves de acceso.
7. Selecciona Servicio de terceros como el Caso de uso.
8. Haz clic en Siguiente.
9. Opcional: Agrega una etiqueta de descripción.
10. Haz clic en Crear clave de acceso.
11. Haz clic en Descargar archivo CSV para guardar la clave de acceso y la clave de acceso secreta para usarlas más adelante.
12. Haz clic en Listo.
13. Selecciona la pestaña Permisos.
14. Haz clic en Agregar permisos en la sección Políticas de permisos.
15. Selecciona Agregar permisos.
16. Selecciona Adjuntar políticas directamente.
17. Busca y selecciona la política AmazonS3FullAccess.
18. Haz clic en Siguiente.
19. Haz clic en Agregar permisos.

Configura EC2 para enviar registros a CloudWatch Logs

1. Usa SSH para conectarte a tu instancia de EC2 y proporciona tu par de claves para la autenticación.

   ssh -i your-key.pem ec2-user@your-ec2-public-ip
   

2. Instala el agente de CloudWatch Logs:

   • Para instalar el agente de CloudWatch Logs en Amazon Linux, usa el siguiente comando:

   sudo yum install -y awslogs
   

   • Para instalar el agente de CloudWatch Logs en Ubuntu, usa el siguiente comando:

   sudo apt-get install -y awslogs
   

3. Abre el archivo de configuración de CloudWatch Logs:

   sudo vi /etc/awslogs/awslogs.conf
   

4. Crea un script que recupere estos metadatos de la instancia de registro y los escriba en un archivo:

   #!/bin/bash
   echo "Architecture: $(curl -s http://169.254.169.254/latest/meta-data/architecture)" >> /var/log/instance_metadata.log
   echo "AmiLaunchIndex: $(curl -s http://169.254.169.254/latest/meta-data/ami-launch-index)" >> /var/log/instance_metadata.log
   echo "BootMode: $(curl -s http://169.254.169.254/latest/meta-data/boot-mode)" >> /var/log/instance_metadata.log
   

5. Guarda la secuencia de comandos como /etc/init.d/metadata_script.sh y ejecútala en el inicio de la instancia con crontab o rc.local.

6. Abre el archivo de configuración del agente de CloudWatch Logs:

   sudo vi /etc/awslogs/awslogs.conf
   

7. Agrega lo siguiente al archivo de configuración:

   [/var/log/messages]
   file = /var/log/messages
   log_group_name = /ec2/system/logs
   log_stream_name = {instance_id}
   
   [/var/log/secure]
   file = /var/log/secure
   log_group_name = /ec2/security/logs
   log_stream_name = {instance_id}
   
   [/var/log/auth.log]
   file = /var/log/auth.log
   log_group_name = /ec2/auth/logs
   log_stream_name = {instance_id}
   
   [/var/log/httpd/access_log]
   file = /var/log/httpd/access_log
   log_group_name = /ec2/application/apache/access_logs
   log_stream_name = {instance_id}
   
   [/var/log/httpd/error_log]
   file = /var/log/httpd/error_log
   log_group_name = /ec2/application/apache/error_logs
   log_stream_name = {instance_id}
   

8. Guarda la configuración y sal del editor.

9. Inicia el agente de CloudWatch Logs:

   • En Amazon Linux:

   sudo service awslogs start
   

   • En Ubuntu:

   sudo service awslogs start
   

10. Verifica que el agente esté en ejecución:

    sudo service awslogs status
    

Configura los permisos de IAM para Lambda y S3

1. En la consola de IAM de AWS, crea un nuevo rol de IAM con los siguientes permisos:

   • logs:PutSubscriptionFilter
   • logs:DescribeLogGroups
   • logs:GetLogEvents
   • s3:PutObject

2. Adjunta este rol a tu función de Lambda que exportará los registros a S3.

Configura Lambda para exportar registros a S3

1. Ve a la consola de Lambda y crea una función nueva.

   import boto3
   import gzip
   from io import BytesIO
   
   s3 = boto3.client('s3')
   logs = boto3.client('logs')
   
   def lambda_handler(event, context):
       log_group = event['logGroup']
       log_stream = event['logStream']
   
       log_events = logs.get_log_events(
           logGroupName=log_group,
           logStreamName=log_stream,
           startFromHead=True
       )
   
       log_data = "\n".join([event['message'] for event in log_events['events']])
   
       # Compress and upload to S3
       compressed_data = gzip.compress(log_data.encode('utf-8'))
       s3.put_object(
           Bucket='your-s3-bucket-name',
           Key='logs/ec2-log.gz',
           Body=compressed_data
       )
     ```
   

   • Reemplaza your-s3-bucket-name por el nombre real de tu bucket de S3.

2. Adjunta el rol de IAM a la función de Lambda que creaste anteriormente.

3. En la consola de CloudWatch, ve a la sección Registros.

4. Selecciona el grupo de registros, por ejemplo, /ec2/system/logs.

5. Haz clic en Acciones > Crear filtro de suscripción.

6. Establece el destino en la función de Lambda que creaste antes.

Configura un feed en Google SecOps para transferir registros de instancias EC2 de AWS

1. Ve a SIEM Settings > Feeds.
2. Haz clic en Agregar nueva.
3. En el campo Nombre del feed, ingresa un nombre para el feed, por ejemplo, Registros de instancias de AWS EC2.
4. Selecciona Amazon S3 como el Tipo de fuente.
5. Selecciona Instancia de AWS EC2 como el Tipo de registro.
6. Haz clic en Siguiente.

7. Especifica valores para los siguientes parámetros de entrada:

   • Región: Es la región en la que se encuentra el bucket de Amazon S3.
   • URI de S3: Es el URI del bucket.
     • s3://your-log-bucket-name/
       • Reemplaza your-log-bucket-name por el nombre real del bucket.
   • El URI es un: Selecciona Directorio o Directorio que incluye subdirectorios.

   • Opciones de borrado de la fuente: Selecciona la opción de borrado según tu preferencia.

   • ID de clave de acceso: Es la clave de acceso del usuario con acceso al bucket de S3.

   • Clave de acceso secreta: Es la clave secreta del usuario con acceso al bucket de S3.

   • Espacio de nombres del recurso: Es el espacio de nombres del recurso.

   • Etiquetas de transferencia: Es la etiqueta que se aplicará a los eventos de este feed.

8. Haz clic en Siguiente.

9. Revisa la nueva configuración del feed en la pantalla Finalizar y, luego, haz clic en Enviar.

Tabla de asignación de UDM

¿Necesitas más ayuda? Obtén respuestas de miembros de la comunidad y profesionales de Google SecOps.