Mengumpulkan log AWS EC2 Instance

Dokumen ini menjelaskan cara mengonfigurasi log Instance AWS EC2 ke Google Security Operations untuk pemantauan dan analisis. Parser mengekstrak data dari log JSON reservasi instance, menyusun ulang dan mengganti nama kolom agar sesuai dengan UDM, menangani berbagai jenis data dan struktur bertingkat, termasuk antarmuka jaringan, grup, dan tag, sekaligus menghasilkan hubungan dan metadata aset. Fungsi ini juga melakukan penanganan error dan menghapus pesan JSON yang salah format.

Sebelum memulai

• Pastikan Anda memiliki instance Google Chronicle.
• Pastikan Anda memiliki akses dengan hak istimewa ke AWS.

Mengonfigurasi AWS IAM dan S3

1. Buat bucket Amazon S3 dengan mengikuti panduan pengguna ini: Membuat bucket.
2. Simpan Nama dan Region bucket untuk digunakan nanti.
3. Buat pengguna dengan mengikuti panduan pengguna ini: Membuat pengguna IAM.
4. Pilih Pengguna yang dibuat.
5. Pilih tab Kredensial keamanan.
6. Klik Create Access Key di bagian Access Keys.
7. Pilih Layanan pihak ketiga sebagai Kasus penggunaan.
8. Klik Next.
9. Opsional: tambahkan tag deskripsi.
10. Klik Create access key.
11. Klik Download file CSV untuk menyimpan Kunci Akses dan Kunci Akses Rahasia untuk digunakan nanti.
12. Klik Done.
13. Pilih tab Izin.
14. Klik Tambahkan izin di bagian Kebijakan izin.
15. Pilih Tambahkan izin.
16. Pilih Lampirkan kebijakan secara langsung
17. Telusuri dan pilih kebijakan AmazonS3FullAccess.
18. Klik Next.
19. Klik Tambahkan izin.

Mengonfigurasi EC2 untuk mengirim log ke CloudWatch Logs

1. Gunakan SSH untuk terhubung ke instance EC2, dengan memberikan pasangan kunci untuk autentikasi.

   ssh -i your-key.pem ec2-user@your-ec2-public-ip
   

2. Instal agen CloudWatch Logs:

   • Untuk menginstal agen CloudWatch Logs di Amazon Linux, gunakan perintah berikut:

   sudo yum install -y awslogs
   

   • Untuk menginstal agen CloudWatch Logs di Ubuntu, gunakan perintah berikut:

   sudo apt-get install -y awslogs
   

3. Buka file konfigurasi CloudWatch Logs:

   sudo vi /etc/awslogs/awslogs.conf
   

4. Buat skrip yang mengambil Metadata Instance Log ini dan menulisnya ke file:

   #!/bin/bash
   echo "Architecture: $(curl -s http://169.254.169.254/latest/meta-data/architecture)" >> /var/log/instance_metadata.log
   echo "AmiLaunchIndex: $(curl -s http://169.254.169.254/latest/meta-data/ami-launch-index)" >> /var/log/instance_metadata.log
   echo "BootMode: $(curl -s http://169.254.169.254/latest/meta-data/boot-mode)" >> /var/log/instance_metadata.log
   

5. Simpan skrip sebagai /etc/init.d/metadata_script.sh dan jalankan saat startup instance menggunakan crontab atau rc.local.

6. Buka file konfigurasi untuk agen CloudWatch Logs:

   sudo vi /etc/awslogs/awslogs.conf
   

7. Tambahkan kode berikut ke file konfigurasi:

   [/var/log/messages]
   file = /var/log/messages
   log_group_name = /ec2/system/logs
   log_stream_name = {instance_id}
   
   [/var/log/secure]
   file = /var/log/secure
   log_group_name = /ec2/security/logs
   log_stream_name = {instance_id}
   
   [/var/log/auth.log]
   file = /var/log/auth.log
   log_group_name = /ec2/auth/logs
   log_stream_name = {instance_id}
   
   [/var/log/httpd/access_log]
   file = /var/log/httpd/access_log
   log_group_name = /ec2/application/apache/access_logs
   log_stream_name = {instance_id}
   
   [/var/log/httpd/error_log]
   file = /var/log/httpd/error_log
   log_group_name = /ec2/application/apache/error_logs
   log_stream_name = {instance_id}
   

8. Simpan konfigurasi dan keluar dari editor.

9. Mulai agen CloudWatch Logs:

   • Di Amazon Linux:

   sudo service awslogs start
   

   • Di Ubuntu:

   sudo service awslogs start
   

10. Pastikan agen sedang berjalan:

    sudo service awslogs status
    

Mengonfigurasi Izin IAM untuk Lambda dan S3

1. Di konsol AWS IAM, buat peran IAM baru dengan izin berikut:

   • logs:PutSubscriptionFilter
   • logs:DescribeLogGroups
   • logs:GetLogEvents
   • s3:PutObject

2. Lampirkan peran ini ke fungsi Lambda yang akan mengekspor log ke S3.

Mengonfigurasi Lambda untuk Mengekspor Log ke S3

1. Buka Lambda console dan buat fungsi baru.

   import boto3
   import gzip
   from io import BytesIO
   
   s3 = boto3.client('s3')
   logs = boto3.client('logs')
   
   def lambda_handler(event, context):
       log_group = event['logGroup']
       log_stream = event['logStream']
   
       log_events = logs.get_log_events(
           logGroupName=log_group,
           logStreamName=log_stream,
           startFromHead=True
       )
   
       log_data = "\n".join([event['message'] for event in log_events['events']])
   
       # Compress and upload to S3
       compressed_data = gzip.compress(log_data.encode('utf-8'))
       s3.put_object(
           Bucket='your-s3-bucket-name',
           Key='logs/ec2-log.gz',
           Body=compressed_data
       )
     ```
   

   • Ganti your-s3-bucket-name dengan nama sebenarnya dari bucket S3 Anda.

2. Lampirkan peran IAM ke fungsi Lambda yang dibuat sebelumnya.

3. Di konsol CloudWatch, buka bagian Log.

4. Pilih grup log; misalnya, /ec2/system/logs.

5. Klik Tindakan > Buat Filter Langganan.

6. Tetapkan tujuan ke fungsi Lambda yang dibuat sebelumnya.

Mengonfigurasi feed di Google SecOps untuk menyerap log Instance AWS EC2

1. Buka Setelan SIEM > Feed.
2. Klik Tambahkan baru.
3. Di kolom Feed name, masukkan nama untuk feed; misalnya, AWS EC2 Instance Logs.
4. Pilih Amazon S3 sebagai Source type.
5. Pilih AWS EC2 Instance sebagai Log type.
6. Klik Next.

7. Tentukan nilai untuk parameter input berikut:

   • Region: region tempat bucket Amazon S3 berada.
   • S3 URI: URI bucket.
     • s3://your-log-bucket-name/
       • Ganti your-log-bucket-name dengan nama bucket yang sebenarnya.
   • URI adalah: pilih Direktori atau Direktori yang menyertakan subdirektori.

   • Opsi penghapusan sumber: pilih opsi penghapusan sesuai preferensi Anda.

   • Access Key ID: Kunci akses pengguna dengan akses ke bucket s3.

   • Kunci Akses Rahasia: kunci rahasia Pengguna dengan akses ke bucket s3.

   • Namespace aset: namespace aset.

   • Label penyerapan: label yang akan diterapkan ke peristiwa dari feed ini.

8. Klik Next.

9. Tinjau konfigurasi feed baru Anda di layar Finalize, lalu klik Submit.

Tabel Pemetaan UDM

Perubahan

2024-01-31

• Menambahkan dukungan untuk skema baru.

2023-12-14

• Parser yang baru dibuat.

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.