Mengumpulkan log AWS CloudWatch

Dokumen ini menjelaskan cara menyerap log AWS CloudWatch ke Google Security Operations menggunakan Amazon S3 atau Amazon Kinesis Data Firehose. AWS CloudWatch adalah layanan pemantauan dan observabilitas, yang mengumpulkan data operasional dalam bentuk log, metrik, dan peristiwa. Integrasi ini memungkinkan Anda mengirimkan log ini ke Google SecOps untuk dianalisis dan dipantau.

Sebelum memulai

Pastikan Anda memenuhi prasyarat berikut:

• Instance Google SecOps
• Akses istimewa ke AWS

Mengonfigurasi ekspor log CloudWatch menggunakan AWS S3

Proses ekspor ini harus dilakukan secara rutin, untuk mendapatkan log CloudWatch terbaru yang di-ingest ke S3.

Buat bucket Amazon S3

Sebaiknya gunakan bucket yang dibuat khusus untuk log CloudWatch.

1. Buka konsol Amazon S3.
2. Jika diperlukan, Anda dapat mengubah Wilayah.
   • Di menu navigasi, pilih Region tempat CloudWatch Logs Anda berada.
3. Klik Create Bucket.
   • Nama Bucket: masukkan nama yang bermakna untuk bucket.
   • Region: pilih region tempat data CloudWatch Logs Anda berada.
   • Klik Buat.

Buat pengguna IAM dengan akses penuh ke Amazon S3 dan CloudWatch Logs

1. Buka konsol IAM.
2. Klik Pengguna > Buat pengguna.
3. Masukkan nama di kolom Nama pengguna (misalnya, CWExport).
4. Pilih Akses terprogram dan Akses AWS Management Console.
5. Pilih Sandi yang dibuat otomatis atau Sandi kustom.
6. Klik Berikutnya: Izin.
7. Pilih Lampirkan kebijakan yang ada secara langsung.
8. Cari dan pilih kebijakan AmazonS3FullAccess dan CloudWatchLogsFullAccess untuk pengguna.
9. Klik Berikutnya: Tanda.
10. Klik Berikutnya: Tinjau.
11. Klik Buat pengguna.

Mengonfigurasi izin pada bucket Amazon S3

1. Di Amazon S3 console, pilih bucket yang Anda buat sebelumnya.
2. Klik Izin > Kebijakan bucket.

3. Di Bucket Policy Editor, tambahkan kebijakan berikut.

   {             
     "Version": "2012-10-17",
     "Statement": [
         {
           "Action": "s3:GetBucketAcl",
           "Effect": "Allow",
           "Resource": "arn:aws:s3:::cw-exported-logs",
           "Principal": { "Service": "logs.us-east-1.amazonaws.com" }
         },
         {
           "Action": "s3:PutObject" ,
           "Effect": "Allow",
           "Resource": "arn:aws:s3:::my-exported-logs/random-string/*",
           "Condition": { "StringEquals": { "s3:x-amz-acl": "bucket-owner-full-control" } },
           "Principal": { "Service": "logs.us-east-1.amazonaws.com" }
   
         }
   
     ]
   
   }
   

4. Ubah dan perbarui variabel json berikut:

   • Ubah cw-exported-logs menjadi nama bucket S3 Anda.
   • Ubah random-string menjadi string karakter yang dibuat secara acak.
   • Pastikan untuk menentukan Endpoint wilayah yang benar untuk Principal.

5. Klik Simpan.

Mengonfigurasi Ekspor CloudWatch

1. Login sebagai pengguna IAM yang Anda buat sebelumnya.
2. Buka konsol CloudWatch.
3. Di menu navigasi, pilih Grup log.
4. Pilih nama grup log yang ada atau buat grup log baru.
5. Pilih Tindakan > Ekspor data ke Amazon S3.
6. Di layar Ekspor data ke Amazon S3, temukan Tentukan ekspor data.

7. Tetapkan rentang waktu untuk data yang akan diekspor menggunakan Dari dan Ke.

8. Pilih bucket S3: Pilih akun yang terkait dengan bucket Amazon S3.

9. Nama bucket S3: Pilih bucket Amazon S3.

10. Awalan Bucket S3: Masukkan string yang dibuat secara acak yang Anda tentukan dalam kebijakan bucket.

11. Pilih Ekspor untuk mengekspor data log Anda ke Amazon S3.

12. Untuk melihat status data log yang Anda ekspor ke Amazon S3, pilih Tindakan > Lihat semua ekspor ke Amazon S3.

Mengonfigurasi feed di Google SecOps untuk menyerap log AWS CloudWatch

1. Buka Setelan SIEM > Feed.
2. Klik Tambahkan Feed Baru.
3. Di kolom Nama feed, masukkan nama untuk feed (misalnya, AWS CloudWatch Logs).
4. Pilih Amazon S3 V2 sebagai Jenis sumber.
5. Pilih AWS CloudWatch sebagai Jenis log.
6. Klik Berikutnya.

7. Tentukan nilai untuk parameter input berikut:

   • URI S3: URI bucket
   • s3://your-log-bucket-name/
     • Ganti your-log-bucket-name dengan nama bucket yang sebenarnya.

   • Opsi penghapusan sumber: Pilih opsi penghapusan sesuai preferensi Anda.

   • Usia File Maksimum: Default 180 Hari.

   • ID Kunci Akses: Kunci akses pengguna dengan akses ke bucket S3.

   • Kunci Akses Rahasia: Kunci rahasia pengguna dengan akses ke bucket S3.

   • Namespace aset: Namespace aset.

   • Label penyerapan: Label yang akan diterapkan ke peristiwa dari feed ini.

8. Klik Berikutnya.

9. Tinjau konfigurasi feed baru Anda di layar Selesaikan, lalu klik Kirim.

Mengonfigurasi ekspor log CloudWatch menggunakan AWS Data Firehose

Proses ekspor ini tidak perlu dilakukan secara rutin setelah penyiapan awal.

Mengonfigurasi feed di Google SecOps untuk menyerap Log AWS CloudWatch

1. Buka Setelan SIEM > Feed.
2. Klik + Tambahkan Feed Baru.
3. Di kolom Nama feed, masukkan nama untuk feed (misalnya, AWS CloudWatch Logs).
4. Pilih Amazon Data Firehose sebagai Jenis sumber.
5. Pilih AWS CloudWatch sebagai Jenis log.
6. Klik Berikutnya.
7. Tentukan nilai untuk parameter input berikut:
   • Pemisah pemisahan: Opsional \n.
   • Namespace aset: Namespace aset.
   • Label penyerapan: Label yang akan diterapkan ke peristiwa dari feed ini.
8. Klik Berikutnya.
9. Tinjau konfigurasi feed, lalu klik Kirim.
10. Klik Buat Kunci Rahasia untuk membuat kunci rahasia guna mengautentikasi feed ini.
11. Salin dan simpan kunci rahasia karena Anda tidak dapat melihat nilai ini lagi.
12. Buka tab Detail.
13. Salin URL endpoint feed dari kolom Endpoint Information.
14. Klik Selesai.

Membuat kunci API untuk feed Amazon Data Firehose

1. Buka halaman Kredensial di konsol Google Cloud.
2. Klik Buat kredensial, lalu pilih Kunci API.
3. Batasi akses kunci API ke Google SecOps API.

Tentukan URL endpoint

Untuk menentukan endpoint HTTPS dan kunci akses di Amazon Data Firehose, ikuti langkah-langkah berikut:

1. Tambahkan kunci API ke URL endpoint feed dan tentukan URL ini sebagai URL endpoint HTTP dalam format berikut:

   ENDPOINT_URL?key=API_KEY
   

   • Ganti kode berikut:

     • ENDPOINT_URL: URL endpoint feed.
     • API_KEY: kunci API untuk mengautentikasi ke Google SecOps.

Untuk kunci akses, tentukan kunci rahasia yang Anda peroleh saat membuat feed Amazon Data Firehose.

Konfigurasi Amazon Kinesis Data Firehose ke Google SecOps {:#configure-kinesis-secops}.

1. Di AWS Console, buka Kinesis > Data Firehose > Create delivery stream.
2. Berikan detail konfigurasi berikut:
   • Sumber: Pilih PUT langsung atau sumber lainnya.
   • Tujuan: Pilih Endpoint HTTP.
   • URL endpoint HTTP: Masukkan URL endpoint HTTPS feed dari Google SecOps dengan Kunci API.
   • Metode HTTP: Pilih POST.
3. Di bagian Kunci akses, masukkan detail berikut:
   • Header kunci rahasia: <HEADER_NAME_FOR_SECRET> dengan nilai <YOUR_SECRET_KEY>
   • Petunjuk buffering: tetapkan Ukuran buffer = 1 MiB, Interval buffer = 60 detik.
   • Kompresi: pilih Dinonaktifkan.
   • Pencadangan S3: pilih Nonaktif.
   • Biarkan setelan coba lagi dan pencatatan aktivitas sebagai default.
4. Klik Buat aliran pengiriman.

Mengonfigurasi izin IAM dan berlangganan grup log

1. Di Konsol AWS, buka IAM > Policies > Create policy > JSON.

2. Tempelkan JSON kebijakan berikut, dengan mengganti <region> dan <account-id> dengan ID akun dan Region AWS Anda:

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Action": [
           "firehose:PutRecord",
           "firehose:PutRecordBatch"
         ],
         "Resource": "arn:aws:firehose:<region>:<account-id>:deliverystream/cwlogs-to-secops"
       }
     ]
   }
   

   1. Beri nama kebijakan CWLtoFirehoseWrite, lalu klik Buat kebijakan.
   2. Buka IAM > Roles > Create role.
   3. Pilih Custom trust policy dan tempel:

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
           "Service": "logs.<your-region>.amazonaws.com"
         },
         "Action": "sts:AssumeRole"
       }
     ]
   }
   

3. Lampirkan kebijakan CWLtoFirehoseWrite ke peran.

4. Beri nama peran CWLtoFirehoseRole, lalu klik Buat peran.

5. Buka CloudWatch > Logs > Log groups.

6. Pilih grup log target.

7. Buka tab Filter langganan, lalu klik Buat.

8. Pilih Create Amazon Kinesis Data Firehose subscription filter.

9. Berikan detail konfigurasi berikut:

   • Tujuan: Pilih aliran pengiriman cwlogs-to-secops.
   • Berikan izin: Pilih peran CWLtoFirehoseRole.
   • Nama filter: Masukkan all-events.
   • Biarkan Pola filter kosong untuk mengirim semua peristiwa.

10. Klik Mulai streaming.

Tabel Pemetaan UDM

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.