AWS EC2 インスタンスのログを収集する

このドキュメントでは、モニタリングと分析のために AWS EC2 インスタンスのログを Google Security Operations に構成する方法について説明します。パーサーは、インスタンス予約の JSON ログからデータを抽出し、UDM に準拠するようにフィールドを再構築して名前を変更します。ネットワーク インターフェース、グループ、タグなど、さまざまなデータ型とネストされた構造を処理し、アセットの関係とメタデータも生成します。また、エラー処理と形式が正しくない JSON メッセージの削除も行います。

始める前に

• Google SecOps インスタンスがあることを確認します。
• AWS への特権アクセス権があることを確認します。

AWS IAM と S3 を構成する

1. バケットの作成のユーザーガイドに沿って、Amazon S3 バケットを作成します。
2. 後で使用するために、バケットの名前とリージョンを保存します。
3. IAM ユーザーの作成のユーザーガイドに沿って、ユーザーを作成します。
4. 作成した [ユーザー] を選択します。
5. [セキュリティ認証情報] タブを選択します。
6. [アクセスキー] セクションで [アクセスキーを作成] をクリックします。
7. [ユースケース] として [サードパーティ サービス] を選択します。
8. [次へ] をクリックします。
9. 省略可: 説明タグを追加します。
10. [アクセスキーを作成] をクリックします。
11. [CSV ファイルをダウンロード] をクリックして、[アクセスキー] と [シークレット アクセスキー] を保存し、後で使用できるようにします。
12. [完了] をクリックします。
13. [権限] タブを選択します。
14. [権限ポリシー] セクションで、[権限を追加] をクリックします。
15. [権限を追加] を選択します。
16. [ポリシーを直接アタッチする] を選択します。
17. AmazonS3FullAccess ポリシーを検索して選択します。
18. [次へ] をクリックします。
19. [権限を追加] をクリックします。

ログを CloudWatch Logs に送信するように EC2 を構成する

1. SSH を使用して EC2 インスタンスに接続し、認証用の鍵ペアを指定します。

   ssh -i your-key.pem ec2-user@your-ec2-public-ip
   

2. CloudWatch Logs エージェントをインストールします。

   • Amazon Linux に CloudWatch Logs エージェントをインストールするには、次のコマンドを使用します。

   sudo yum install -y awslogs
   

   • Ubuntu に CloudWatch Logs エージェントをインストールするには、次のコマンドを使用します。

   sudo apt-get install -y awslogs
   

3. CloudWatch Logs 構成ファイルを開きます。

   sudo vi /etc/awslogs/awslogs.conf
   

4. このログ インスタンス メタデータを取得してファイルに書き込むスクリプトを作成します。

   #!/bin/bash
   echo "Architecture: $(curl -s http://169.254.169.254/latest/meta-data/architecture)" >> /var/log/instance_metadata.log
   echo "AmiLaunchIndex: $(curl -s http://169.254.169.254/latest/meta-data/ami-launch-index)" >> /var/log/instance_metadata.log
   echo "BootMode: $(curl -s http://169.254.169.254/latest/meta-data/boot-mode)" >> /var/log/instance_metadata.log
   

5. スクリプトを /etc/init.d/metadata_script.sh として保存し、crontab または rc.local を使用してインスタンスの起動時に実行します。

6. CloudWatch Logs エージェントの構成ファイルを開きます。

   sudo vi /etc/awslogs/awslogs.conf
   

7. 構成ファイルに以下の内容を追加します。

   [/var/log/messages]
   file = /var/log/messages
   log_group_name = /ec2/system/logs
   log_stream_name = {instance_id}
   
   [/var/log/secure]
   file = /var/log/secure
   log_group_name = /ec2/security/logs
   log_stream_name = {instance_id}
   
   [/var/log/auth.log]
   file = /var/log/auth.log
   log_group_name = /ec2/auth/logs
   log_stream_name = {instance_id}
   
   [/var/log/httpd/access_log]
   file = /var/log/httpd/access_log
   log_group_name = /ec2/application/apache/access_logs
   log_stream_name = {instance_id}
   
   [/var/log/httpd/error_log]
   file = /var/log/httpd/error_log
   log_group_name = /ec2/application/apache/error_logs
   log_stream_name = {instance_id}
   

8. 構成を保存してエディタを終了します。

9. CloudWatch Logs エージェントを起動します。

   • Amazon Linux の場合:

   sudo service awslogs start
   

   • Ubuntu の場合:

   sudo service awslogs start
   

10. エージェントが実行されていることを確認します。

    sudo service awslogs status
    

Lambda と S3 の IAM 権限を構成する

1. AWS IAM コンソールで、次の権限を持つ新しい IAM ロールを作成します。

   • logs:PutSubscriptionFilter
   • logs:DescribeLogGroups
   • logs:GetLogEvents
   • s3:PutObject

2. このロールを、S3 にログをエクスポートする Lambda 関数にアタッチします。

ログを S3 にエクスポートするように Lambda を構成する

1. Lambda コンソールに移動し、新しい関数を作成します。

   import boto3
   import gzip
   from io import BytesIO
   
   s3 = boto3.client('s3')
   logs = boto3.client('logs')
   
   def lambda_handler(event, context):
       log_group = event['logGroup']
       log_stream = event['logStream']
   
       log_events = logs.get_log_events(
           logGroupName=log_group,
           logStreamName=log_stream,
           startFromHead=True
       )
   
       log_data = "\n".join([event['message'] for event in log_events['events']])
   
       # Compress and upload to S3
       compressed_data = gzip.compress(log_data.encode('utf-8'))
       s3.put_object(
           Bucket='your-s3-bucket-name',
           Key='logs/ec2-log.gz',
           Body=compressed_data
       )
     ```
   

   • your-s3-bucket-name は、S3 バケットの実際の名前に置き換えます。

2. 前に作成した Lambda 関数に IAM ロールを関連付けます。

3. CloudWatch コンソールで、[ログ] セクションに移動します。

4. ロググループ（例: /ec2/system/logs）を選択します。

5. [操作] > [サブスクリプション フィルタを作成] をクリックします。

6. 宛先を、以前に作成した Lambda 関数に設定します。

AWS EC2 インスタンスのログを取り込むように Google SecOps でフィードを構成する

1. [SIEM 設定] > [フィード] に移動します。
2. [新しく追加] をクリックします。
3. [フィード名] フィールドに、フィードの名前を入力します（例: AWS EC2 インスタンス ログ）。
4. [ソースタイプ] として [Amazon S3] を選択します。
5. [ログタイプ] として [AWS EC2 インスタンス] を選択します。
6. [次へ] をクリックします。

7. 次の入力パラメータの値を指定します。

   • リージョン: Amazon S3 バケットが配置されているリージョン。
   • S3 URI: バケット URI。
     • s3://your-log-bucket-name/
       • your-log-bucket-name は、バケットの実際の名前に置き換えます。
   • URI is a: [ディレクトリ] または [サブディレクトリを含むディレクトリ] を選択します。

   • Source deletion options: 必要に応じて削除オプションを選択します。

   • アクセスキー ID: s3 バケットにアクセスできるユーザー アクセスキー。

   • シークレット アクセスキー: s3 バケットにアクセスできるユーザーのシークレット キー。

   • アセットの名前空間: アセットの名前空間。

   • Ingestion labels: このフィードのイベントに適用されるラベル。

8. [次へ] をクリックします。

9. [Finalize] 画面で新しいフィードの設定を確認し、[送信] をクリックします。

UDM マッピング テーブル

さらにサポートが必要な場合 コミュニティ メンバーや Google SecOps のプロフェッショナルから回答を得ることができます。