收集 AWS EC2 实例日志

本文档介绍了如何将 AWS EC2 实例日志配置到 Google Security Operations 以进行监控和分析。解析器会从实例预订 JSON 日志中提取数据，重构和重命名字段以符合 UDM，处理各种数据类型和嵌套结构（包括网络接口、组和标记），同时生成资产关系和元数据。它还会执行错误处理并丢弃格式错误的 JSON 消息。

准备工作

• 确保您拥有 Google SecOps 实例。
• 确保您拥有对 AWS 的特权访问权限。

配置 AWS IAM 和 S3

1. 按照此用户指南中的说明创建 Amazon S3 存储分区：创建存储分区。
2. 保存存储分区的名称和区域，以备日后使用。
3. 按照此用户指南中的说明创建用户：创建 IAM 用户。
4. 选择创建的用户。
5. 选择安全凭据标签页。
6. 点击访问密钥部分中的创建访问密钥。
7. 选择第三方服务作为用例。
8. 点击下一步。
9. 可选：添加说明标记。
10. 点击创建访问密钥。
11. 点击下载 CSV 文件，保存访问密钥和密钥以供日后使用。
12. 点击完成。
13. 选择权限标签页。
14. 在权限政策部分中，点击添加权限。
15. 选择添加权限。
16. 选择直接附加政策
17. 搜索并选择 AmazonS3FullAccess 政策。
18. 点击下一步。
19. 点击添加权限。

配置 EC2 以将日志发送到 CloudWatch Logs

1. 使用 SSH 连接到您的 EC2 实例，并提供密钥对以进行身份验证。

   ssh -i your-key.pem ec2-user@your-ec2-public-ip
   

2. 安装 CloudWatch Logs 代理：

   • 如需在 Amazon Linux 上安装 CloudWatch Logs 代理，请使用以下命令：

   sudo yum install -y awslogs
   

   • 如需在 Ubuntu 上安装 CloudWatch Logs 代理，请使用以下命令：

   sudo apt-get install -y awslogs
   

3. 打开 CloudWatch Logs 配置文件：

   sudo vi /etc/awslogs/awslogs.conf
   

4. 创建一个脚本，用于提取此日志实例元数据并将其写入文件：

   #!/bin/bash
   echo "Architecture: $(curl -s http://169.254.169.254/latest/meta-data/architecture)" >> /var/log/instance_metadata.log
   echo "AmiLaunchIndex: $(curl -s http://169.254.169.254/latest/meta-data/ami-launch-index)" >> /var/log/instance_metadata.log
   echo "BootMode: $(curl -s http://169.254.169.254/latest/meta-data/boot-mode)" >> /var/log/instance_metadata.log
   

5. 将脚本另存为 /etc/init.d/metadata_script.sh，并使用 crontab 或 rc.local 在实例启动时运行该脚本。

6. 打开 CloudWatch Logs 代理的配置文件：

   sudo vi /etc/awslogs/awslogs.conf
   

7. 将以下内容添加到配置文件中：

   [/var/log/messages]
   file = /var/log/messages
   log_group_name = /ec2/system/logs
   log_stream_name = {instance_id}
   
   [/var/log/secure]
   file = /var/log/secure
   log_group_name = /ec2/security/logs
   log_stream_name = {instance_id}
   
   [/var/log/auth.log]
   file = /var/log/auth.log
   log_group_name = /ec2/auth/logs
   log_stream_name = {instance_id}
   
   [/var/log/httpd/access_log]
   file = /var/log/httpd/access_log
   log_group_name = /ec2/application/apache/access_logs
   log_stream_name = {instance_id}
   
   [/var/log/httpd/error_log]
   file = /var/log/httpd/error_log
   log_group_name = /ec2/application/apache/error_logs
   log_stream_name = {instance_id}
   

8. 保存配置并退出编辑器。

9. 启动 CloudWatch Logs 代理：

   • 在 Amazon Linux 上：

   sudo service awslogs start
   

   • 在 Ubuntu 上：

   sudo service awslogs start
   

10. 验证代理是否正在运行：

    sudo service awslogs status
    

为 Lambda 和 S3 配置 IAM 权限

1. 在 AWS IAM 控制台中，创建一个具有以下权限的新 IAM 角色：

   • logs:PutSubscriptionFilter
   • logs:DescribeLogGroups
   • logs:GetLogEvents
   • s3:PutObject

2. 将此角色附加到将日志导出到 S3 的 Lambda 函数。

配置 Lambda 以将日志导出到 S3

1. 前往 Lambda 控制台，然后创建一个新函数。

   import boto3
   import gzip
   from io import BytesIO
   
   s3 = boto3.client('s3')
   logs = boto3.client('logs')
   
   def lambda_handler(event, context):
       log_group = event['logGroup']
       log_stream = event['logStream']
   
       log_events = logs.get_log_events(
           logGroupName=log_group,
           logStreamName=log_stream,
           startFromHead=True
       )
   
       log_data = "\n".join([event['message'] for event in log_events['events']])
   
       # Compress and upload to S3
       compressed_data = gzip.compress(log_data.encode('utf-8'))
       s3.put_object(
           Bucket='your-s3-bucket-name',
           Key='logs/ec2-log.gz',
           Body=compressed_data
       )
     ```
   

   • 将 your-s3-bucket-name 替换为 S3 存储分区的实际名称。

2. 将 IAM 角色附加到之前创建的 Lambda 函数。

3. 在 CloudWatch 控制台中，前往“日志”部分。

4. 选择日志组；例如 /ec2/system/logs。

5. 依次点击操作 > 创建订阅过滤条件。

6. 将目标位置设置为之前创建的 Lambda 函数。

在 Google SecOps 中配置 Feed 以提取 AWS EC2 实例日志

1. 依次前往 SIEM 设置 > Feed。
2. 点击新增。
3. 在 Feed 名称字段中，输入 Feed 的名称；例如，AWS EC2 实例日志。
4. 选择 Amazon S3 作为来源类型。
5. 选择 AWS EC2 实例作为日志类型。
6. 点击下一步。

7. 为以下输入参数指定值：

   • 区域：Amazon S3 存储分区所在的区域。
   • S3 URI：存储分区 URI。
     • s3://your-log-bucket-name/
       • 将 your-log-bucket-name 替换为存储分区的实际名称。
   • URI 是：选择目录或包含子目录的目录。

   • 来源删除选项：根据您的偏好选择删除选项。

   • 访问密钥 ID：有权访问 S3 存储分区的用户访问密钥。

   • 私有访问密钥：有权访问 S3 存储分区的用户私钥。

   • 资源命名空间：资源命名空间。

   • 提取标签：要应用于此 Feed 中的事件的标签。

8. 点击下一步。

9. 在最终确定界面中查看新的 Feed 配置，然后点击提交。

UDM 映射表

变化

2024-01-31

• 添加了对新架构的支持。

2023-12-14

• 新创建的解析器。

需要更多帮助？向社区成员和 Google SecOps 专业人士寻求解答。