Coletar registros de instâncias do AWS EC2

Neste documento, explicamos como configurar os registros de instâncias do AWS EC2 no Google Security Operations para monitoramento e análise. O analisador extrai dados dos registros JSON de reserva de instâncias, reestrutura e renomeia campos para se conformar ao UDM, processando vários tipos de dados e estruturas aninhadas, incluindo interfaces de rede, grupos e tags, além de gerar relacionamentos de recursos e metadados. Ele também realiza o tratamento de erros e descarta mensagens JSON malformadas.

Antes de começar

• Verifique se você tem uma instância do Google SecOps.
• Verifique se você tem acesso privilegiado à AWS.

Configurar o AWS IAM e o S3

1. Crie um bucket do Amazon S3 seguindo este guia do usuário: Criar um bucket.
2. Salve o Nome e a Região do bucket para uso futuro.
3. Crie um usuário seguindo este guia: Como criar um usuário do IAM.
4. Selecione o Usuário criado.
5. Selecione a guia Credenciais de segurança.
6. Clique em Criar chave de acesso na seção Chaves de acesso.
7. Selecione Serviço de terceiros como o caso de uso.
8. Clique em Próxima.
9. Opcional: adicione uma tag de descrição.
10. Clique em Criar chave de acesso.
11. Clique em Fazer o download do arquivo CSV para salvar a chave de acesso e a chave de acesso secreta para uso futuro.
12. Clique em Concluído.
13. Selecione a guia Permissões.
14. Clique em Adicionar permissões na seção Políticas de permissões.
15. Selecione Adicionar permissões.
16. Selecione Anexar políticas diretamente.
17. Pesquise e selecione a política AmazonS3FullAccess.
18. Clique em Próxima.
19. Clique em Adicionar permissões

Configurar o EC2 para enviar registros aos Logs do CloudWatch

1. Use o SSH para se conectar à instância do EC2, fornecendo seu par de chaves para autenticação.

   ssh -i your-key.pem ec2-user@your-ec2-public-ip
   

2. Instale o agente do CloudWatch Logs:

   • Para instalar o agente do CloudWatch Logs no Amazon Linux, use este comando:

   sudo yum install -y awslogs
   

   • Para instalar o agente do CloudWatch Logs no Ubuntu, use o seguinte comando:

   sudo apt-get install -y awslogs
   

3. Abra o arquivo de configuração dos Logs do CloudWatch:

   sudo vi /etc/awslogs/awslogs.conf
   

4. Crie um script que extrai esses metadados da instância de registro e os grava em um arquivo:

   #!/bin/bash
   echo "Architecture: $(curl -s http://169.254.169.254/latest/meta-data/architecture)" >> /var/log/instance_metadata.log
   echo "AmiLaunchIndex: $(curl -s http://169.254.169.254/latest/meta-data/ami-launch-index)" >> /var/log/instance_metadata.log
   echo "BootMode: $(curl -s http://169.254.169.254/latest/meta-data/boot-mode)" >> /var/log/instance_metadata.log
   

5. Salve o script como /etc/init.d/metadata_script.sh e execute-o na inicialização da instância usando crontab ou rc.local.

6. Abra o arquivo de configuração do agente do CloudWatch Logs:

   sudo vi /etc/awslogs/awslogs.conf
   

7. Adicione o código abaixo ao arquivo de configuração:

   [/var/log/messages]
   file = /var/log/messages
   log_group_name = /ec2/system/logs
   log_stream_name = {instance_id}
   
   [/var/log/secure]
   file = /var/log/secure
   log_group_name = /ec2/security/logs
   log_stream_name = {instance_id}
   
   [/var/log/auth.log]
   file = /var/log/auth.log
   log_group_name = /ec2/auth/logs
   log_stream_name = {instance_id}
   
   [/var/log/httpd/access_log]
   file = /var/log/httpd/access_log
   log_group_name = /ec2/application/apache/access_logs
   log_stream_name = {instance_id}
   
   [/var/log/httpd/error_log]
   file = /var/log/httpd/error_log
   log_group_name = /ec2/application/apache/error_logs
   log_stream_name = {instance_id}
   

8. Salve a configuração e saia do editor.

9. Inicie o agente do CloudWatch Logs:

   • No Amazon Linux:

   sudo service awslogs start
   

   • No Ubuntu:

   sudo service awslogs start
   

10. Verificar se o agente está em execução:

    sudo service awslogs status
    

Configurar as permissões do IAM para Lambda e S3

1. No console do AWS IAM, crie um novo papel do IAM com as seguintes permissões:

   • logs:PutSubscriptionFilter
   • logs:DescribeLogGroups
   • logs:GetLogEvents
   • s3:PutObject

2. Anexe essa função à sua função Lambda, que vai exportar os registros para o S3.

Configurar o Lambda para exportar registros para o S3

1. Acesse o console da Lambda e crie uma nova função.

   import boto3
   import gzip
   from io import BytesIO
   
   s3 = boto3.client('s3')
   logs = boto3.client('logs')
   
   def lambda_handler(event, context):
       log_group = event['logGroup']
       log_stream = event['logStream']
   
       log_events = logs.get_log_events(
           logGroupName=log_group,
           logStreamName=log_stream,
           startFromHead=True
       )
   
       log_data = "\n".join([event['message'] for event in log_events['events']])
   
       # Compress and upload to S3
       compressed_data = gzip.compress(log_data.encode('utf-8'))
       s3.put_object(
           Bucket='your-s3-bucket-name',
           Key='logs/ec2-log.gz',
           Body=compressed_data
       )
     ```
   

   • Substitua your-s3-bucket-name pelo nome real do seu bucket do S3.

2. Anexe o papel do IAM à função Lambda criada anteriormente.

3. No console do CloudWatch, acesse a seção de registros.

4. Selecione o grupo de registro, por exemplo, /ec2/system/logs.

5. Clique em Ações > Criar filtro de assinatura.

6. Defina o destino como a função Lambda criada anteriormente.

Configurar um feed no Google SecOps para processar registros de instâncias do EC2 da AWS

1. Acesse Configurações do SIEM > Feeds.
2. Clique em Adicionar novo.
3. No campo Nome do feed, insira um nome para o feed, por exemplo, AWS EC2 Instance Logs.
4. Selecione Amazon S3 como o Tipo de origem.
5. Selecione Instância do AWS EC2 como o Tipo de registro.
6. Clique em Próxima.

7. Especifique valores para os seguintes parâmetros de entrada:

   • Região: a região em que o bucket do Amazon S3 está localizado.
   • URI do S3: o URI do bucket.
     • s3://your-log-bucket-name/
       • Substitua your-log-bucket-name pelo nome real do bucket.
   • O URI é: selecione Diretório ou Diretório que inclui subdiretórios.

   • Opções de exclusão de origem: selecione a opção de exclusão de acordo com sua preferência.

   • ID da chave de acesso: a chave de acesso do usuário com acesso ao bucket do S3.

   • Chave de acesso secreta: a chave secreta do usuário com acesso ao bucket do S3.

   • Namespace do recurso: o namespace do recurso.

   • Rótulos de ingestão: o rótulo a ser aplicado aos eventos desse feed.

8. Clique em Próxima.

9. Revise a configuração do novo feed na tela Finalizar e clique em Enviar.

Tabela de mapeamento do UDM

Alterações

2024-01-31

• Adição de suporte ao novo esquema.

2023-12-14

• Parser recém-criado.

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.