收集 AWS EC2 執行個體記錄

本文說明如何將 AWS EC2 執行個體記錄設定至 Google Security Operations，以進行監控和分析。剖析器會從執行個體預留 JSON 記錄中擷取資料、重新建構及重新命名欄位，以符合 UDM，並處理各種資料類型和巢狀結構，包括網路介面、群組和標記，同時產生資產關係和中繼資料。此外，這項服務也會執行錯誤處理作業，並捨棄格式錯誤的 JSON 訊息。

事前準備

• 確認您擁有 Google SecOps 執行個體。
• 確認您具備 AWS 的特殊權限。

設定 AWS IAM 和 S3

1. 按照這份使用者指南建立 Amazon S3 值區：建立值區。
2. 請儲存 bucket 的「名稱」和「區域」，以供後續使用。
3. 按照這份使用者指南建立使用者：建立 IAM 使用者。
4. 選取建立的「使用者」。
5. 選取「安全憑證」分頁標籤。
6. 在「Access Keys」部分中，按一下「Create Access Key」。
7. 選取「第三方服務」做為「用途」。
8. 點選「下一步」。
9. 選用：新增說明標記。
10. 按一下「建立存取金鑰」。
11. 按一下「下載 CSV 檔案」，儲存「存取金鑰」和「私密存取金鑰」，以供日後使用。
12. 按一下 [完成]。
13. 選取 [權限] 分頁標籤。
14. 在「權限政策」部分，按一下「新增權限」。
15. 選取「新增權限」。
16. 選取「直接附加政策」
17. 搜尋並選取 AmazonS3FullAccess 政策。
18. 點選「下一步」。
19. 按一下「新增權限」。

設定 EC2 將記錄傳送至 CloudWatch Logs

1. 使用 SSH 連線至 EC2 執行個體，並提供金鑰組進行驗證。

   ssh -i your-key.pem ec2-user@your-ec2-public-ip
   

2. 安裝 CloudWatch Logs 代理程式：

   • 如要在 Amazon Linux 上安裝 CloudWatch Logs 代理程式，請使用下列指令：

   sudo yum install -y awslogs
   

   • 如要在 Ubuntu 上安裝 CloudWatch Logs 代理程式，請使用下列指令：

   sudo apt-get install -y awslogs
   

3. 開啟 CloudWatch Logs 設定檔：

   sudo vi /etc/awslogs/awslogs.conf
   

4. 建立指令碼，擷取這個記錄執行個體中繼資料並寫入檔案：

   #!/bin/bash
   echo "Architecture: $(curl -s http://169.254.169.254/latest/meta-data/architecture)" >> /var/log/instance_metadata.log
   echo "AmiLaunchIndex: $(curl -s http://169.254.169.254/latest/meta-data/ami-launch-index)" >> /var/log/instance_metadata.log
   echo "BootMode: $(curl -s http://169.254.169.254/latest/meta-data/boot-mode)" >> /var/log/instance_metadata.log
   

5. 將指令碼儲存為 /etc/init.d/metadata_script.sh，並使用 crontab 或 rc.local 在執行個體啟動時執行。

6. 開啟 CloudWatch Logs 代理程式的設定檔：

   sudo vi /etc/awslogs/awslogs.conf
   

7. 在設定檔中新增下列內容：

   [/var/log/messages]
   file = /var/log/messages
   log_group_name = /ec2/system/logs
   log_stream_name = {instance_id}
   
   [/var/log/secure]
   file = /var/log/secure
   log_group_name = /ec2/security/logs
   log_stream_name = {instance_id}
   
   [/var/log/auth.log]
   file = /var/log/auth.log
   log_group_name = /ec2/auth/logs
   log_stream_name = {instance_id}
   
   [/var/log/httpd/access_log]
   file = /var/log/httpd/access_log
   log_group_name = /ec2/application/apache/access_logs
   log_stream_name = {instance_id}
   
   [/var/log/httpd/error_log]
   file = /var/log/httpd/error_log
   log_group_name = /ec2/application/apache/error_logs
   log_stream_name = {instance_id}
   

8. 儲存設定並結束編輯器。

9. 啟動 CloudWatch Logs 代理程式：

   • 在 Amazon Linux 上：

   sudo service awslogs start
   

   • 在 Ubuntu 上：

   sudo service awslogs start
   

10. 確認代理程式正在執行：

    sudo service awslogs status
    

設定 Lambda 和 S3 的 IAM 權限

1. 在 AWS IAM 主控台中，建立新的 IAM 角色，並授予下列權限：

   • logs:PutSubscriptionFilter
   • logs:DescribeLogGroups
   • logs:GetLogEvents
   • s3:PutObject

2. 將這個角色附加至要將記錄檔匯出至 S3 的 Lambda 函式。

設定 Lambda 將記錄匯出至 S3

1. 前往 Lambda 控制台，然後建立新函式。

   import boto3
   import gzip
   from io import BytesIO
   
   s3 = boto3.client('s3')
   logs = boto3.client('logs')
   
   def lambda_handler(event, context):
       log_group = event['logGroup']
       log_stream = event['logStream']
   
       log_events = logs.get_log_events(
           logGroupName=log_group,
           logStreamName=log_stream,
           startFromHead=True
       )
   
       log_data = "\n".join([event['message'] for event in log_events['events']])
   
       # Compress and upload to S3
       compressed_data = gzip.compress(log_data.encode('utf-8'))
       s3.put_object(
           Bucket='your-s3-bucket-name',
           Key='logs/ec2-log.gz',
           Body=compressed_data
       )
     ```
   

   • 請將 your-s3-bucket-name 替換為實際的 S3 bucket 名稱。

2. 將 IAM 角色附加至先前建立的 Lambda 函式。

3. 在 CloudWatch 控制台中，前往「Logs」(記錄) 專區。

4. 選取記錄群組，例如 /ec2/system/logs。

5. 依序點選「動作」>「建立訂閱篩選器」。

6. 將「destination」設為先前建立的「Lambda function」。

在 Google SecOps 中設定資訊提供，擷取 AWS EC2 執行個體記錄

1. 依序前往「SIEM 設定」>「動態饋給」。
2. 按一下「新增」。
3. 在「動態消息名稱」欄位中，輸入動態消息的名稱，例如「AWS EC2 執行個體記錄」。
4. 選取「Amazon S3」做為「來源類型」。
5. 選取「AWS EC2 Instance」(AWS EC2 執行個體) 做為「Log type」(記錄類型)。
6. 點選「下一步」。

7. 指定下列輸入參數的值：

   • 區域：Amazon S3 值區所在的區域。
   • S3 URI：值區 URI。
     • s3://your-log-bucket-name/
       • 請將 your-log-bucket-name 替換為實際值區名稱。
   • 「URI is a」(URI 為)：選取「Directory」(目錄) 或「Directory which includes subdirectories」(包含子目錄的目錄)。

   • 來源刪除選項：根據偏好選取刪除選項。

   • 存取金鑰 ID：具有 S3 bucket 存取權的使用者存取金鑰。

   • 存取密鑰：具有 S3 bucket 存取權的使用者私密金鑰。

   • 資產命名空間：資產命名空間。

   • 擷取標籤：要套用至這個動態饋給事件的標籤。

8. 點選「下一步」。

9. 在「Finalize」畫面上檢查新的動態饋給設定，然後按一下「Submit」。

UDM 對應表

還有其他問題嗎？向社群成員和 Google SecOps 專業人員尋求答案。