Ringkasan Ekstraksi Otomatis

Didukung di:

Dokumen ini memberikan ringkasan tentang cara data diekstrak secara otomatis untuk meningkatkan kemampuan menyerap, memproses, dan menganalisis data.

Google Security Operations menggunakan parser bawaan untuk mengekstrak dan menyusun data log menggunakan skema Model Data Terpadu (UDM). Mengelola dan memelihara parser ini dapat menjadi tantangan karena beberapa batasan: ekstraksi data yang tidak lengkap, meningkatnya jumlah parser yang harus dikelola, dan persyaratan untuk pembaruan yang sering dilakukan seiring berkembangnya format log.

Untuk mengatasi tantangan ini, Anda dapat menggunakan fitur ekstraksi otomatis. Fitur ini secara otomatis mengekstrak key-value pair dari log berformat JSON yang ditransfer ke Google SecOps. Data yang diekstrak ini disimpan di kolom jenis peta UDM yang disebut extracted. Kemudian, Anda dapat menggunakan data ini dalam kueri penelusuran UDM, Dasbor Native, dan aturan YARA-L. Mengurai secara otonom mendukung log format JSON.

Sebagai praktik terbaik, penelusuran UDM menggunakan kolom yang diekstrak harus menyertakan metadata.log_type dalam kuerinya untuk meningkatkan performa kueri penelusuran.

Manfaat ekstraksi otomatis adalah pengurangan ketergantungan pada parser, sehingga memastikan data tetap tersedia, meskipun parser tidak ada atau gagal mengurai log.

Mengurai dan mengekstrak data dari log mentah

  1. Pemrosesan: Google SecOps mencoba mengurai log menggunakan parser khusus untuk jenis log, jika tersedia. Jika tidak ada parser tertentu, atau jika penguraian gagal, Google SecOps akan menggunakan parser umum untuk mengekstrak informasi dasar seperti stempel waktu, jenis log, dan label metadata yang ditransfer.

  2. Ekstraksi Data: Semua titik data diekstrak secara otomatis dari log.

  3. Penambahan Nilai Peristiwa: Google SecOps menggabungkan data yang diuraikan dan kolom berformat kustom untuk membuat peristiwa yang diperkaya, yang memberikan lebih banyak konteks dan detail.

  4. Transfer Data Downstream: Peristiwa yang diperkaya ini kemudian dikirim ke sistem lain untuk analisis dan pemrosesan lebih lanjut.

Menggunakan ekstraktor

Ekstraktor memungkinkan Anda mengekstrak kolom dari sumber log bervolume tinggi, dan dirancang untuk mengoptimalkan pengelolaan log. Dengan menggunakan ekstraktor, Anda dapat mengurangi ukuran peristiwa, meningkatkan efisiensi penguraian, dan mendapatkan kontrol yang lebih baik atas ekstraksi data. Hal ini sangat berguna untuk mengelola jenis log baru atau meminimalkan waktu pemrosesan.

Anda dapat membuat ekstraktor menggunakan menu SIEM Settings atau dengan melakukan penelusuran log mentah.

Membuat ekstraktor

  1. Buka panel Extract Additional Fields menggunakan salah satu metode berikut:

    • Klik SIEM Settings > Parsers, lalu lakukan tindakan berikut:
      1. Di tabel PARSERS yang muncul, identifikasi parser (sumber log) dan klik Menu > Extend Parser > Extract Additional Fields.
    • Gunakan Pemindaian Log Raw dan lakukan tindakan berikut:
      1. Pilih sumber log (parser) yang diperlukan dari menu Sumber Log.
      2. Dari hasil log mentah, pilih sumber log untuk membuka panel DATA Peristiwa.
      3. Di panel DATA PERISTIWA, klik Kelola Parser > Luaskan Parser > Ekstrak Kolom Tambahan.
    • Gunakan penelusuran UDM dan lakukan hal berikut:
      1. Di tab EVENTS di hasil penelusuran UDM, pilih sumber log untuk melihat panel Event Viewer.
      2. Di tab Raw Log, klik Manage Parser > Extend Parser > Extract Additional Fields.

  2. Di tab Select Extractors di panel Extract Additional fields, pilih kolom log mentah yang diperlukan. Secara default, Anda dapat memilih hingga 100 kolom. Jika tidak ada kolom tambahan yang tersedia untuk diekstrak, pemberitahuan peringatan akan ditampilkan.

    Klik tab Reference Raw Log untuk melihat data log mentah dan melihat pratinjau output UDM.

  3. Klik Simpan.

Pengekstrak yang baru dibuat diberi label sebagai EXTRACTOR. Kolom yang diekstrak ditampilkan dalam output UDM sebagaiextracted.field{"fieldName"}.

Melihat detail ekstraktor

  1. Buka baris ekstraktor di tabel PARSERS, lalu klik Menu > Extend Parser > View Extension.
  2. Di halaman LIHAT PARSER KUSTOM, klik tab Ekstensi dan Kolom yang Diekstrak.

Tab ini menampilkan informasi tentang ekstensi parser dan kolom ekstraktor. Anda dapat mengubah atau menghapus kolom dan melihat pratinjau output parser dari halaman LIHAT PARSER KUSTOM.

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.