AWS EC2 인스턴스 로그 수집

이 문서에서는 모니터링 및 분석을 위해 AWS EC2 인스턴스 로그를 Google Security Operations로 구성하는 방법을 설명합니다. 파서는 인스턴스 예약 JSON 로그에서 데이터를 추출하고, UDM을 준수하도록 필드를 재구성 및 이름을 바꾸며, 네트워크 인터페이스, 그룹, 태그를 비롯한 다양한 데이터 유형과 중첩된 구조를 처리하는 동시에 애셋 관계 및 메타데이터를 생성합니다. 또한 오류 처리를 실행하고 잘못된 형식의 JSON 메시지를 삭제합니다.

시작하기 전에

• Google SecOps 인스턴스가 있는지 확인합니다.
• AWS에 대한 권한이 있는지 확인합니다.

AWS IAM 및 S3 구성

1. 버킷 만들기 사용자 가이드에 따라 Amazon S3 버킷을 만듭니다.
2. 나중에 사용할 수 있도록 버킷 이름 및 리전을 저장합니다.
3. IAM 사용자 만들기 사용자 가이드에 따라 사용자를 만듭니다.
4. 만든 사용자를 선택합니다.
5. 보안 사용자 인증 정보 탭을 선택합니다.
6. 액세스 키 섹션에서 액세스 키 만들기를 클릭합니다.
7. 사용 사례로 서드 파티 서비스를 선택합니다.
8. 다음을 클릭합니다.
9. 선택사항: 설명 태그를 추가합니다.
10. 액세스 키 만들기를 클릭합니다.
11. CSV 파일 다운로드를 클릭하여 나중에 사용할 수 있도록 액세스 키와 비밀 액세스 키를 저장합니다.
12. 완료를 클릭합니다.
13. 권한 탭을 선택합니다.
14. 권한 정책 섹션에서 권한 추가를 클릭합니다.
15. 권한 추가를 선택합니다.
16. Attach policies directly(정책 직접 연결)를 선택합니다.
17. AmazonS3FullAccess 정책을 검색하여 선택합니다.
18. 다음을 클릭합니다.
19. 권한 추가를 클릭합니다.

로그를 CloudWatch Logs로 전송하도록 EC2 구성

1. SSH를 사용하여 EC2 인스턴스에 연결하고 인증을 위해 키 쌍을 제공합니다.

   ssh -i your-key.pem ec2-user@your-ec2-public-ip
   

2. CloudWatch Logs 에이전트를 설치합니다.

   • Amazon Linux에 CloudWatch Logs 에이전트를 설치하려면 다음 명령어를 사용합니다.

   sudo yum install -y awslogs
   

   • Ubuntu에 CloudWatch Logs 에이전트를 설치하려면 다음 명령어를 사용합니다.

   sudo apt-get install -y awslogs
   

3. CloudWatch Logs 구성 파일을 엽니다.

   sudo vi /etc/awslogs/awslogs.conf
   

4. 이 로그 인스턴스 메타데이터를 가져와 파일에 쓰는 스크립트를 만듭니다.

   #!/bin/bash
   echo "Architecture: $(curl -s http://169.254.169.254/latest/meta-data/architecture)" >> /var/log/instance_metadata.log
   echo "AmiLaunchIndex: $(curl -s http://169.254.169.254/latest/meta-data/ami-launch-index)" >> /var/log/instance_metadata.log
   echo "BootMode: $(curl -s http://169.254.169.254/latest/meta-data/boot-mode)" >> /var/log/instance_metadata.log
   

5. 스크립트를 /etc/init.d/metadata_script.sh로 저장하고 crontab 또는 rc.local을 사용하여 인스턴스 시작 시 실행합니다.

6. CloudWatch Logs 에이전트의 구성 파일을 엽니다.

   sudo vi /etc/awslogs/awslogs.conf
   

7. 구성 파일에 다음을 추가합니다.

   [/var/log/messages]
   file = /var/log/messages
   log_group_name = /ec2/system/logs
   log_stream_name = {instance_id}
   
   [/var/log/secure]
   file = /var/log/secure
   log_group_name = /ec2/security/logs
   log_stream_name = {instance_id}
   
   [/var/log/auth.log]
   file = /var/log/auth.log
   log_group_name = /ec2/auth/logs
   log_stream_name = {instance_id}
   
   [/var/log/httpd/access_log]
   file = /var/log/httpd/access_log
   log_group_name = /ec2/application/apache/access_logs
   log_stream_name = {instance_id}
   
   [/var/log/httpd/error_log]
   file = /var/log/httpd/error_log
   log_group_name = /ec2/application/apache/error_logs
   log_stream_name = {instance_id}
   

8. 구성을 저장하고 편집기를 종료합니다.

9. CloudWatch Logs 에이전트를 시작합니다.

   • Amazon Linux의 경우:

   sudo service awslogs start
   

   • Ubuntu:

   sudo service awslogs start
   

10. 에이전트가 실행 중인지 확인합니다.

    sudo service awslogs status
    

Lambda 및 S3의 IAM 권한 구성

1. AWS IAM 콘솔에서 다음 권한이 있는 새 IAM 역할을 만듭니다.

   • logs:PutSubscriptionFilter
   • logs:DescribeLogGroups
   • logs:GetLogEvents
   • s3:PutObject

2. 로그를 S3로 내보내는 Lambda 함수에 이 역할을 연결합니다.

S3로 로그를 내보내도록 Lambda 구성

1. Lambda 콘솔로 이동하여 새 함수를 만듭니다.

   import boto3
   import gzip
   from io import BytesIO
   
   s3 = boto3.client('s3')
   logs = boto3.client('logs')
   
   def lambda_handler(event, context):
       log_group = event['logGroup']
       log_stream = event['logStream']
   
       log_events = logs.get_log_events(
           logGroupName=log_group,
           logStreamName=log_stream,
           startFromHead=True
       )
   
       log_data = "\n".join([event['message'] for event in log_events['events']])
   
       # Compress and upload to S3
       compressed_data = gzip.compress(log_data.encode('utf-8'))
       s3.put_object(
           Bucket='your-s3-bucket-name',
           Key='logs/ec2-log.gz',
           Body=compressed_data
       )
     ```
   

   • your-s3-bucket-name을 S3 버킷의 실제 이름으로 바꿉니다.

2. 앞에서 만든 Lambda 함수에 IAM 역할을 연결합니다.

3. CloudWatch 콘솔에서 로그 섹션으로 이동합니다.

4. 로그 그룹을 선택합니다(예: /ec2/system/logs).

5. 작업 > 구독 필터 만들기를 클릭합니다.

6. 대상을 이전에 만든 람다 함수로 설정합니다.

AWS EC2 인스턴스 로그를 수집하도록 Google SecOps에서 피드 구성

1. SIEM 설정 > 피드로 이동합니다.
2. 새로 추가를 클릭합니다.
3. 피드 이름 필드에 피드 이름을 입력합니다(예: AWS EC2 인스턴스 로그).
4. 소스 유형으로 Amazon S3를 선택합니다.
5. 로그 유형으로 AWS EC2 인스턴스를 선택합니다.
6. 다음을 클릭합니다.

7. 다음 입력 매개변수의 값을 지정합니다.

   • 리전: Amazon S3 버킷이 있는 리전입니다.
   • S3 URI: 버킷 URI입니다.
     • s3://your-log-bucket-name/
       • your-log-bucket-name을 버킷의 실제 이름으로 바꿉니다.
   • URI: 디렉터리 또는 하위 디렉터리가 포함된 디렉터리를 선택합니다.

   • 소스 삭제 옵션: 원하는 삭제 옵션을 선택합니다.

   • 액세스 키 ID: S3 버킷에 대한 액세스 권한이 있는 사용자 액세스 키입니다.

   • 보안 비밀 액세스 키: S3 버킷에 액세스할 수 있는 사용자 보안 비밀 키입니다.

   • 애셋 네임스페이스: 애셋 네임스페이스입니다.

   • 수집 라벨: 이 피드의 이벤트에 적용할 라벨입니다.

8. 다음을 클릭합니다.

9. 확정 화면에서 새 피드 구성을 검토한 다음 제출을 클릭합니다.

UDM 매핑 표

변경사항

2024-01-31

• 새 스키마 지원을 추가했습니다.

2023-12-14

• 파서를 새로 만들었습니다.

도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가의 답변을 받으세요.