Recoger registros de instancias de AWS EC2

En este documento se explica cómo configurar los registros de instancias de AWS EC2 en Google Security Operations para monitorizarlos y analizarlos. El analizador extrae datos de los registros JSON de reservas de instancias, reestructura y cambia el nombre de los campos para que se ajusten al modelo de datos unificado, gestionando varios tipos de datos y estructuras anidadas, incluidas interfaces de red, grupos y etiquetas. Además, genera relaciones y metadatos de activos. También gestiona los errores y elimina los mensajes JSON con errores de formato.

Antes de empezar

• Asegúrate de que tienes una instancia de Google SecOps.
• Asegúrate de que tienes acceso con privilegios a AWS.

Configurar AWS IAM y S3

1. Crea un segmento de Amazon S3 siguiendo esta guía de usuario: Crear un segmento.
2. Guarda el nombre y la región del bucket para usarlos más adelante.
3. Crea un usuario siguiendo esta guía: Crear un usuario de gestión de identidades y accesos.
4. Selecciona el Usuario creado.
5. Selecciona la pestaña Credenciales de seguridad.
6. En la sección Claves de acceso, haz clic en Crear clave de acceso.
7. Selecciona Servicio de terceros como Caso práctico.
8. Haz clic en Siguiente.
9. Opcional: añade una etiqueta de descripción.
10. Haz clic en Crear clave de acceso.
11. Haz clic en Descargar archivo CSV para guardar la clave de acceso y la clave de acceso secreta para usarlas más adelante.
12. Haz clic en Listo.
13. Selecciona la pestaña Permisos.
14. En la sección Políticas de permisos, haz clic en Añadir permisos.
15. Selecciona Añadir permisos.
16. Seleccione Adjuntar políticas directamente.
17. Busca y selecciona la política AmazonS3FullAccess.
18. Haz clic en Siguiente.
19. Haz clic en Añadir permisos.

Configurar EC2 para enviar registros a CloudWatch Logs

1. Usa SSH para conectarte a tu instancia EC2 y proporciona tu par de claves para la autenticación.

   ssh -i your-key.pem ec2-user@your-ec2-public-ip
   

2. Instala el agente de CloudWatch Logs:

   • Para instalar el agente de CloudWatch Logs en Amazon Linux, usa el siguiente comando:

   sudo yum install -y awslogs
   

   • Para instalar el agente de CloudWatch Logs en Ubuntu, usa el siguiente comando:

   sudo apt-get install -y awslogs
   

3. Abre el archivo de configuración de CloudWatch Logs:

   sudo vi /etc/awslogs/awslogs.conf
   

4. Crea una secuencia de comandos que obtenga estos metadatos de instancia de registro y los escriba en un archivo:

   #!/bin/bash
   echo "Architecture: $(curl -s http://169.254.169.254/latest/meta-data/architecture)" >> /var/log/instance_metadata.log
   echo "AmiLaunchIndex: $(curl -s http://169.254.169.254/latest/meta-data/ami-launch-index)" >> /var/log/instance_metadata.log
   echo "BootMode: $(curl -s http://169.254.169.254/latest/meta-data/boot-mode)" >> /var/log/instance_metadata.log
   

5. Guarda la secuencia de comandos como /etc/init.d/metadata_script.sh y ejecútala al iniciar la instancia con crontab o rc.local.

6. Abre el archivo de configuración del agente de CloudWatch Logs:

   sudo vi /etc/awslogs/awslogs.conf
   

7. Añade lo siguiente al archivo de configuración:

   [/var/log/messages]
   file = /var/log/messages
   log_group_name = /ec2/system/logs
   log_stream_name = {instance_id}
   
   [/var/log/secure]
   file = /var/log/secure
   log_group_name = /ec2/security/logs
   log_stream_name = {instance_id}
   
   [/var/log/auth.log]
   file = /var/log/auth.log
   log_group_name = /ec2/auth/logs
   log_stream_name = {instance_id}
   
   [/var/log/httpd/access_log]
   file = /var/log/httpd/access_log
   log_group_name = /ec2/application/apache/access_logs
   log_stream_name = {instance_id}
   
   [/var/log/httpd/error_log]
   file = /var/log/httpd/error_log
   log_group_name = /ec2/application/apache/error_logs
   log_stream_name = {instance_id}
   

8. Guarda la configuración y cierra el editor.

9. Inicia el agente de CloudWatch Logs:

   • En Amazon Linux:

   sudo service awslogs start
   

   • En Ubuntu:

   sudo service awslogs start
   

10. Comprueba que el agente se está ejecutando:

    sudo service awslogs status
    

Configurar permisos de gestión de identidades y accesos para Lambda y S3

1. En la consola de gestión de identidades y accesos de AWS, crea un rol de gestión de identidades y accesos con los siguientes permisos:

   • logs:PutSubscriptionFilter
   • logs:DescribeLogGroups
   • logs:GetLogEvents
   • s3:PutObject

2. Asigna este rol a la función Lambda que exportará los registros a S3.

Configurar Lambda para exportar registros a S3

1. Ve a la consola de Lambda y crea una función.

   import boto3
   import gzip
   from io import BytesIO
   
   s3 = boto3.client('s3')
   logs = boto3.client('logs')
   
   def lambda_handler(event, context):
       log_group = event['logGroup']
       log_stream = event['logStream']
   
       log_events = logs.get_log_events(
           logGroupName=log_group,
           logStreamName=log_stream,
           startFromHead=True
       )
   
       log_data = "\n".join([event['message'] for event in log_events['events']])
   
       # Compress and upload to S3
       compressed_data = gzip.compress(log_data.encode('utf-8'))
       s3.put_object(
           Bucket='your-s3-bucket-name',
           Key='logs/ec2-log.gz',
           Body=compressed_data
       )
     ```
   

   • Sustituye your-s3-bucket-name por el nombre real de tu segmento de S3.

2. Asigna el rol de gestión de identidades y accesos a la función de Lambda que has creado anteriormente.

3. En la consola de CloudWatch, ve a la sección Logs (Registros).

4. Selecciona el grupo de registros. Por ejemplo, /ec2/system/logs.

5. Haz clic en Acciones > Crear filtro de suscripción.

6. Define el destino en la función Lambda que has creado anteriormente.

Configurar un feed en Google SecOps para ingerir registros de instancias de AWS EC2

1. Ve a Configuración de SIEM > Feeds.
2. Haz clic en Añadir feed.
3. En el campo Nombre del feed, introduce un nombre para el feed. Por ejemplo, Registros de instancias de AWS EC2.
4. Selecciona Amazon S3 V2 como Tipo de fuente.
5. Selecciona Instancia de AWS EC2 como Tipo de registro.
6. Haz clic en Siguiente.

7. Especifique los valores de los siguientes parámetros de entrada:

   • URI de S3: el URI del segmento.
     • s3://your-log-bucket-name/
       • Sustituye your-log-bucket-name por el nombre real del segmento.

   • Opciones de eliminación de la fuente: selecciona la opción de eliminación que prefieras.

   • Antigüedad máxima del archivo: incluye los archivos modificados en los últimos días. El valor predeterminado es 180 días.

   • ID de clave de acceso: la clave de acceso del usuario con acceso al segmento de S3.

   • Clave de acceso secreta: la clave secreta del usuario con acceso al segmento de S3.

   • Espacio de nombres de recursos: el espacio de nombres de recursos.

   • Etiquetas de ingestión: etiqueta que se aplicará a los eventos de este feed.

8. Haz clic en Siguiente.

9. Revise la configuración de la nueva fuente en la pantalla Finalizar y, a continuación, haga clic en Enviar.

Tabla de asignación de UDM

¿Necesitas más ayuda? Recibe respuestas de los miembros de la comunidad y de los profesionales de Google SecOps.