Mengumpulkan log Instance AWS EC2

Dokumen ini menjelaskan cara mengonfigurasi log Instance AWS EC2 ke Google Security Operations untuk pemantauan dan analisis. Parser mengekstrak data dari log JSON reservasi instance, menyusun ulang dan mengganti nama kolom agar sesuai dengan UDM, menangani berbagai jenis data dan struktur bertingkat, termasuk antarmuka jaringan, grup, dan tag, sekaligus membuat hubungan dan metadata aset. Selain itu, fungsi ini juga melakukan penanganan error dan menghapus pesan JSON yang salah format.

Sebelum memulai

• Pastikan Anda memiliki instance Google SecOps.
• Pastikan Anda memiliki akses istimewa ke AWS.

Mengonfigurasi AWS IAM dan S3

1. Buat bucket Amazon S3 dengan mengikuti panduan pengguna ini: Membuat bucket.
2. Simpan Nama dan Region bucket untuk digunakan nanti.
3. Buat pengguna dengan mengikuti panduan pengguna ini: Membuat pengguna IAM.
4. Pilih Pengguna yang dibuat.
5. Pilih tab Kredensial keamanan.
6. Klik Create Access Key di bagian Access Keys.
7. Pilih Layanan pihak ketiga sebagai Kasus penggunaan.
8. Klik Berikutnya.
9. Opsional: tambahkan tag deskripsi.
10. Klik Create access key.
11. Klik Download CSV file untuk menyimpan Access Key dan Secret Access Key untuk digunakan nanti.
12. Klik Selesai.
13. Pilih tab Izin.
14. Klik Tambahkan izin di bagian Kebijakan izin.
15. Pilih Tambahkan izin.
16. Pilih Lampirkan kebijakan secara langsung
17. Telusuri dan pilih kebijakan AmazonS3FullAccess.
18. Klik Berikutnya.
19. Klik Tambahkan izin.

Mengonfigurasi EC2 untuk mengirim log ke CloudWatch Logs

1. Gunakan SSH untuk terhubung ke instance EC2 Anda, dengan memberikan pasangan kunci Anda untuk autentikasi.

   ssh -i your-key.pem ec2-user@your-ec2-public-ip
   

2. Instal agen CloudWatch Logs:

   • Untuk menginstal agen CloudWatch Logs di Amazon Linux, gunakan perintah berikut:

   sudo yum install -y awslogs
   

   • Untuk menginstal agen CloudWatch Logs di Ubuntu, gunakan perintah berikut:

   sudo apt-get install -y awslogs
   

3. Buka file konfigurasi CloudWatch Logs:

   sudo vi /etc/awslogs/awslogs.conf
   

4. Buat skrip yang mengambil Metadata Instance Log ini dan menuliskannya ke file:

   #!/bin/bash
   echo "Architecture: $(curl -s http://169.254.169.254/latest/meta-data/architecture)" >> /var/log/instance_metadata.log
   echo "AmiLaunchIndex: $(curl -s http://169.254.169.254/latest/meta-data/ami-launch-index)" >> /var/log/instance_metadata.log
   echo "BootMode: $(curl -s http://169.254.169.254/latest/meta-data/boot-mode)" >> /var/log/instance_metadata.log
   

5. Simpan skrip sebagai /etc/init.d/metadata_script.sh dan jalankan saat instance dimulai menggunakan crontab atau rc.local.

6. Buka file konfigurasi untuk agen CloudWatch Logs:

   sudo vi /etc/awslogs/awslogs.conf
   

7. Tambahkan kode berikut ke file konfigurasi:

   [/var/log/messages]
   file = /var/log/messages
   log_group_name = /ec2/system/logs
   log_stream_name = {instance_id}
   
   [/var/log/secure]
   file = /var/log/secure
   log_group_name = /ec2/security/logs
   log_stream_name = {instance_id}
   
   [/var/log/auth.log]
   file = /var/log/auth.log
   log_group_name = /ec2/auth/logs
   log_stream_name = {instance_id}
   
   [/var/log/httpd/access_log]
   file = /var/log/httpd/access_log
   log_group_name = /ec2/application/apache/access_logs
   log_stream_name = {instance_id}
   
   [/var/log/httpd/error_log]
   file = /var/log/httpd/error_log
   log_group_name = /ec2/application/apache/error_logs
   log_stream_name = {instance_id}
   

8. Simpan konfigurasi dan keluar dari editor.

9. Mulai agen CloudWatch Logs:

   • Di Amazon Linux:

   sudo service awslogs start
   

   • Di Ubuntu:

   sudo service awslogs start
   

10. Pastikan agen sedang berjalan:

    sudo service awslogs status
    

Mengonfigurasi Izin IAM untuk Lambda dan S3

1. Di konsol AWS IAM, buat peran IAM baru dengan izin berikut:

   • logs:PutSubscriptionFilter
   • logs:DescribeLogGroups
   • logs:GetLogEvents
   • s3:PutObject

2. Lampirkan peran ini ke fungsi Lambda yang akan mengekspor log ke S3.

Mengonfigurasi Lambda untuk Mengekspor Log ke S3

1. Buka konsol Lambda dan buat fungsi baru.

   import boto3
   import gzip
   from io import BytesIO
   
   s3 = boto3.client('s3')
   logs = boto3.client('logs')
   
   def lambda_handler(event, context):
       log_group = event['logGroup']
       log_stream = event['logStream']
   
       log_events = logs.get_log_events(
           logGroupName=log_group,
           logStreamName=log_stream,
           startFromHead=True
       )
   
       log_data = "\n".join([event['message'] for event in log_events['events']])
   
       # Compress and upload to S3
       compressed_data = gzip.compress(log_data.encode('utf-8'))
       s3.put_object(
           Bucket='your-s3-bucket-name',
           Key='logs/ec2-log.gz',
           Body=compressed_data
       )
     ```
   

   • Ganti your-s3-bucket-name dengan nama sebenarnya bucket S3 Anda.

2. Lampirkan peran IAM ke fungsi Lambda yang dibuat sebelumnya.

3. Di konsol CloudWatch, buka bagian Logs.

4. Pilih grup log; misalnya, /ec2/system/logs.

5. Klik Actions > Create Subscription Filter.

6. Tetapkan destination ke Lambda function yang dibuat sebelumnya.

Mengonfigurasi feed di Google SecOps untuk menyerap log Instance AWS EC2

1. Buka Setelan SIEM > Feed.
2. Klik Tambahkan baru.
3. Di kolom Feed name, masukkan nama untuk feed; misalnya, AWS EC2 Instance Logs.
4. Pilih Amazon S3 sebagai Jenis sumber.
5. Pilih AWS EC2 Instance sebagai Jenis log.
6. Klik Berikutnya.

7. Tentukan nilai untuk parameter input berikut:

   • Region: region tempat bucket Amazon S3 berada.
   • URI S3: URI bucket.
     • s3://your-log-bucket-name/
       • Ganti your-log-bucket-name dengan nama bucket yang sebenarnya.
   • URI adalah: pilih Direktori atau Direktori yang menyertakan subdirektori.

   • Opsi penghapusan sumber: pilih opsi penghapusan sesuai preferensi Anda.

   • Access Key ID: Kunci akses pengguna dengan akses ke bucket s3.

   • Secret Access Key: kunci rahasia Pengguna dengan akses ke bucket s3.

   • Namespace aset: namespace aset.

   • Label penyerapan: label yang akan diterapkan ke peristiwa dari feed ini.

8. Klik Berikutnya.

9. Tinjau konfigurasi feed baru Anda di layar Selesaikan, lalu klik Kirim.

Tabel Pemetaan UDM

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.