Mengumpulkan log WAF Signal Sciences

Dokumen ini menjelaskan cara menyerap log WAF Signal Sciences ke Google Security Operations menggunakan Google Cloud Storage. Parser mengubah log Signal Sciences dari format JSON-nya menjadi Model Data Terpadu (UDM) Chronicle. Proses ini menangani dua struktur pesan utama: pesan "RPC.PreRequest/PostRequest" diuraikan menggunakan pola Grok, sedangkan pesan lainnya diproses sebagai objek JSON, mengekstrak kolom yang relevan dan memetakannya ke skema UDM.

Sebelum memulai

Pastikan Anda memenuhi prasyarat berikut:

• Instance Google SecOps
• VPC Flow disiapkan dan aktif di lingkungan Google Cloud Anda
• Akses istimewa ke WAF Signal Sciences

Membuat Google Cloud Bucket Storage

1. Login ke konsol Google Cloud .

2. Buka halaman Cloud Storage Buckets.

   Buka Buckets

3. Klik Buat.

4. Di halaman Buat bucket, masukkan informasi bucket Anda. Setelah setiap langkah berikut, klik Lanjutkan untuk melanjutkan ke langkah berikutnya:

   1. Di bagian Mulai, lakukan tindakan berikut:

      • Masukkan nama unik yang memenuhi persyaratan nama bucket (misalnya, vpcflow-logs).
      • Untuk mengaktifkan namespace hierarkis, klik panah peluas untuk meluaskan bagian Optimalkan untuk beban kerja berorientasi file dan intensif data, lalu pilih Aktifkan namespace Hierarkis di bucket ini.
      • Untuk menambahkan label bucket, klik panah peluas untuk meluaskan bagian Label.
      • Klik Tambahkan label, lalu tentukan kunci dan nilai untuk label Anda.

   2. Di bagian Pilih lokasi untuk menyimpan data Anda, lakukan hal berikut:

      • Pilih Jenis lokasi.
      • Gunakan menu jenis lokasi untuk memilih Lokasi tempat data objek dalam bucket Anda akan disimpan secara permanen.
      • Untuk menyiapkan replikasi lintas bucket, luaskan bagian Siapkan replikasi lintas bucket.

   3. Di bagian Pilih kelas penyimpanan untuk data Anda, pilih kelas penyimpanan default untuk bucket, atau pilih Autoclass untuk pengelolaan kelas penyimpanan otomatis untuk data bucket Anda.

   4. Di bagian Pilih cara mengontrol akses ke objek, pilih tidak untuk menerapkan pencegahan akses publik, dan pilih model kontrol akses untuk objek bucket Anda.

   5. Di bagian Pilih cara melindungi data objek, lakukan tindakan berikut:

      • Pilih salah satu opsi di bagian Perlindungan data yang ingin Anda tetapkan untuk bucket Anda.
      • Untuk memilih cara mengenkripsi data objek Anda, klik panah peluas berlabel Enkripsi data, lalu pilih Metode enkripsi data.

5. Klik Buat.

Mengonfigurasi kunci API WAF Signal Sciences

1. Login ke UI web Signal Sciences WAF.
2. Buka Profil Saya > Token Akses API.
3. Klik Tambahkan token akses API.
4. Berikan nama deskriptif yang unik (misalnya, Google SecOps).
5. Klik Create API access token.
6. Salin dan simpan token di lokasi yang aman.
7. Klik Saya mengerti untuk menyelesaikan pembuatan token.

Men-deploy skrip di host Linux untuk menarik log dari Signal Sciences dan menyimpannya di Google Cloud

1. Login ke host Linux menggunakan SSH.

2. Instal lib Python untuk menyimpan JSON WAF Signal Sciences ke bucket Cloud Storage:

   pip install google-cloud-storage
   

3. Tetapkan variabel env ini untuk memanggil file JSON yang memiliki kredensial dari Google Cloud:

   export GOOGLE_APPLICATION_CREDENTIALS="path/to/your/service-account-key.json"
   

4. Konfigurasi variabel lingkungan berikut karena informasi ini tidak boleh dikodekan secara permanen:

   export SIGSCI_EMAIL=<Signal_Sciences_account_email>
   export SIGSCI_TOKEN=<Signal_Sciences_API_token>
   export SIGSCI_CORP=<Corporation_name_in_Signal_Sciences>
   

5. Jalankan skrip berikut:

   import sys
   import requests
   import os
   import calendar
   import json
   from datetime import datetime, timedelta
   from google.cloud import storage
   
   # Check if all necessary environment variables are set
   
   if 'SIGSCI_EMAIL' not in os.environ or 'SIGSCI_TOKEN' not in os.environ or 'SIGSCI_CORP' not in os.environ:
   print("ERROR: You need to define SIGSCI_EMAIL, SIGSCI_TOKEN, and SIGSCI_CORP environment variables.")
   print("Please fix and run again. Existing...")
   sys.exit(1)  # Exit if environment variables are not set
   
   # Define the Google Cloud Storage bucket name and output file name
   
   bucket_name = 'Your_GCS_Bucket'  # Replace with your GCS bucket name
   output_file_name = 'signal_sciences_logs.json'
   
   # Initialize Google Cloud Storage client
   
   storage_client = storage.Client()
   
   # Function to upload data to Google Cloud Storage
   
   def upload_to_gcs(bucket_name, data, destination_blob_name):
       bucket = storage_client.bucket(bucket_name)
       blob = bucket.blob(destination_blob_name)
       blob.upload_from_string(data, content_type='application/json')
       print(f"Data uploaded to {destination_blob_name} in bucket {bucket_name}")
   
   # Signal Sciences API information
   
   api_host = 'https://dashboard.signalsciences.net'
   # email = 'user@domain.com'  # Signal Sciences account email
   # token = 'XXXXXXXX-XXXX-XXX-XXXX-XXXXXXXXXXXX'  # API token for authentication
   # corp_name = 'Domain'  # Corporation name in Signal Sciences
   # site_names = ['testenv']  # Replace with your actual site names
   
   # List of comma-delimited sites that you want to extract data from
   
   site_names = [ 'site123', 'site345' ]        # Define all sites to pull logs from
   
   email = os.environ.get('SIGSCI_EMAIL')       # Signal Sciences account email
   token = os.environ.get('SIGSCI_TOKEN')       # API token for authentication
   corp_name = os.environ.get('SIGSCI_CORP')    # Corporation name in Signal Sciences
   
   # Calculate the start and end timestamps for the previous hour in UTC
   
   until_time = datetime.utcnow().replace(minute=0, second=0, microsecond=0)
   from_time = until_time - timedelta(hours=1)
   until_time = calendar.timegm(until_time.utctimetuple())
   from_time = calendar.timegm(from_time.utctimetuple())
   
   # Prepare HTTP headers for the API request
   
   headers = {
       'Content-Type': 'application/json',
       'x-api-user': email,
       'x-api-token': token
   }
   
   # Collect logs for each site
   
   collected_logs = []
   
   for site_name in site_names:
       url = f"{api_host}/api/v0/corps/{corp_name}/sites/{site_name}/feed/requests?from={from_time}&until={until_time}"
       while True:
           response = requests.get(url, headers=headers)
           if response.status_code != 200:
               print(f"Error fetching logs: {response.text}", file=sys.stderr)
               break
   
           # Parse the JSON response
   
           data = response.json()
           collected_logs.extend(data['data'])  # Add the log messages to our list
   
           # Pagination: check if there is a next page
   
           next_url = data.get('next', {}).get('uri')
           if not next_url:
               break
           url = api_host + next_url
   
   # Convert the collected logs to a newline-delimited JSON string
   
   json_data = '\n'.join(json.dumps(log) for log in collected_logs)
   
   # Save the newline-delimited JSON data to a GCS bucket
   
   upload_to_gcs(bucket_name, json_data, output_file_name)
   

   Menyiapkan feed

Ada dua titik entri berbeda untuk menyiapkan feed di platform Google SecOps:

• Setelan SIEM > Feed
• Hub Konten > Paket Konten

Menyiapkan feed dari Setelan SIEM > Feed

Untuk mengonfigurasi feed, ikuti langkah-langkah berikut:

1. Buka Setelan SIEM > Feed.
2. Klik Tambahkan Feed Baru.
3. Di halaman berikutnya, klik Konfigurasi satu feed.
4. Di kolom Nama feed, masukkan nama untuk feed (misalnya, Signal Sciences WAF Logs).
5. Pilih Google Cloud Storage sebagai Jenis sumber.
6. Pilih Signal Sciences WAF sebagai Jenis log.
7. Klik Dapatkan Akun Layanan sebagai Akun Layanan Chronicle.
8. Klik Berikutnya.

9. Tentukan nilai untuk parameter input berikut:

   • URI Bucket Penyimpanan:URL bucket penyimpanan Google Cloud dalam format gs://my-bucket/<value>.
   • URI Adalah: Pilih Direktori yang menyertakan subdirektori.

   • Opsi penghapusan sumber: Pilih opsi penghapusan sesuai preferensi Anda.

10. Klik Berikutnya.

11. Tinjau konfigurasi feed baru Anda di layar Selesaikan, lalu klik Kirim.

Menyiapkan feed dari Hub Konten

Tentukan nilai untuk kolom berikut:

• URI Bucket Penyimpanan:URL bucket penyimpanan Google Cloud dalam format gs://my-bucket/<value>.
• URI Adalah: Pilih Direktori yang menyertakan subdirektori.

• Opsi penghapusan sumber: Pilih opsi penghapusan sesuai preferensi Anda.

Opsi lanjutan

• Nama Feed: Nilai yang telah diisi otomatis yang mengidentifikasi feed.
• Jenis Sumber: Metode yang digunakan untuk mengumpulkan log ke Google SecOps.
• Namespace Aset: Namespace yang terkait dengan feed.
• Label Penyerapan: Label yang diterapkan ke semua peristiwa dari feed ini.

Tabel pemetaan UDM

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.