Ringkasan Ekstraksi Otomatis

Didukung di:

Dokumen ini memberikan ringkasan tentang cara data diekstrak secara otomatis untuk meningkatkan kemampuan penyerapan, pemrosesan, dan analisis data.

Google Security Operations menggunakan parser bawaan untuk mengekstrak dan menyusun data log menggunakan skema Model Data Terpadu (UDM). Mengelola dan memelihara parser ini bisa jadi sulit karena beberapa batasan: ekstraksi data yang tidak lengkap, jumlah parser yang terus bertambah untuk dikelola, dan persyaratan untuk pembaruan yang sering karena format log terus berkembang.

Untuk mengatasi tantangan ini, Anda dapat menggunakan fitur ekstraksi otomatis. Fitur ini secara otomatis mengekstrak key-value pair dari log berformat JSON yang di-ingest ke Google SecOps. Log yang diformat Syslog yang menyertakan pesan JSON juga didukung. Data yang diekstrak ini disimpan dalam UDM, kolom jenis peta bernama extracted. Kemudian, Anda dapat menggunakan data ini dalam kueri penelusuran UDM, Dasbor Native, dan aturan YARA-L.

Sebagai praktik terbaik, penelusuran UDM yang menggunakan kolom yang diekstrak harus menyertakan metadata.log_type dalam kueri untuk meningkatkan performa kueri penelusuran.

Manfaat ekstraksi otomatis adalah berkurangnya ketergantungan pada parser, sehingga memastikan data tetap tersedia, meskipun parser tidak ada atau gagal mem-parsing log.

Mengurai dan mengekstrak data dari log mentah

  1. Parsing: Google SecOps mencoba mem-parsing log menggunakan parser khusus untuk jenis log, jika tersedia. Jika tidak ada parser tertentu, atau jika parsing gagal, Google SecOps menggunakan parser umum untuk mengekstrak informasi dasar seperti stempel waktu yang diproses, jenis log, dan label metadata.

  2. Ekstraksi Data: Semua titik data diekstrak secara otomatis dari log.

  3. Pengayaan Peristiwa: Google SecOps menggabungkan data yang diuraikan dan kolom berformat kustom untuk membuat peristiwa yang diperkaya, sehingga memberikan lebih banyak konteks dan detail.

  4. Transfer Data Hilir: Peristiwa yang telah di-enrich ini kemudian dikirim ke sistem lain untuk analisis dan pemrosesan lebih lanjut.

Bekerja dengan ekstraktor

Dengan ekstraktor, Anda dapat mengekstrak kolom dari sumber log bervolume tinggi, dan dirancang untuk mengoptimalkan pengelolaan log. Dengan menggunakan ekstraktor, Anda dapat mengurangi ukuran peristiwa, meningkatkan efisiensi parsing, dan mendapatkan kontrol yang lebih baik atas ekstraksi data. Hal ini sangat berguna untuk mengelola jenis log baru atau meminimalkan waktu pemrosesan.

Anda dapat membuat ekstraktor menggunakan menu Setelan SIEM atau dengan melakukan penelusuran log mentah.

Membuat pengekstrak

  1. Buka panel Ekstrak Kolom Tambahan menggunakan salah satu metode berikut:

    • Klik Setelan SIEM > Parser, lalu lakukan hal berikut:
      1. Di tabel PARSER yang muncul, identifikasi parser (sumber log) dan klik Menu > Extend Parser > Extract Additional Fields.
    • Gunakan Pemindaian Log Mentah dan lakukan hal berikut:
      1. Pilih sumber log (parser) yang diperlukan dari menu Sumber Log.
      2. Dari hasil log mentah, pilih sumber log untuk membuka panel DATA PERISTIWA.
      3. Di panel DATA PERISTIWA, klik Kelola Parser > Perluas Parser > Ekstrak Kolom Tambahan.
    • Gunakan Penelusuran UDM dan lakukan hal berikut:
      1. Di tab PERISTIWA di hasil penelusuran UDM, pilih sumber log untuk melihat panel Event Viewer.
      2. Di tab Raw Log, klik Manage Parser > Extend Parser > Extract Additional Fields.

  2. Di tab Pilih Ekstraktor di panel Ekstrak Kolom Tambahan, pilih kolom log mentah yang diperlukan. Secara default, Anda dapat memilih hingga 100 kolom. Jika tidak ada kolom tambahan yang tersedia untuk diekstrak, pemberitahuan peringatan akan ditampilkan.

    Klik tab Reference Raw Log untuk melihat data log mentah dan melihat pratinjau output UDM.

  3. Klik Simpan.

Ekstraktor yang baru dibuat diberi label EXTRACTOR. Kolom yang diekstrak ditampilkan dalam output UDM sebagaiextracted.field{"fieldName"}.

Melihat detail ekstraktor

  1. Buka baris ekstraktor di tabel PARSER, lalu klik Menu > Perluas Parser > Lihat Ekstensi.
  2. Di halaman LIHAT PARSER KUSTOM, klik tab Ekstensi dan Kolom yang Diekstrak.

Tab ini menampilkan informasi tentang ekstensi parser dan kolom ekstraktor. Anda dapat mengubah atau menghapus kolom dan melihat pratinjau output parser dari halaman LIHAT PARSER KUSTOM.

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.