Menggunakan penghapusan duplikat dalam penelusuran dan dasbor

Didukung di:

Dokumen ini menjelaskan apa yang terjadi saat Anda menelusuri data di Google Security Operations. Terkadang, hasil dapat menyertakan duplikat. Hal ini sering terjadi karena infrastruktur perusahaan menghasilkan log untuk peristiwa yang sama dari beberapa sistem. Misalnya, sistem otentikasi dan keamanan Anda mungkin mencatat satu peristiwa login.

Untuk mengurangi hasil duplikat, gunakan kolom UDM di bagian dedup dalam sintaksis YARA-L Anda. Tambahkan kolom UDM ke bagian ini untuk menampilkan satu hasil untuk setiap kombinasi nilai yang berbeda. .

Penghapusan duplikat dalam kueri

Penghapusan duplikat berlaku untuk jenis kueri penelusuran dan dasbor berikut:

  • Kueri penelusuran gabungan: Mencakup bagian match, match, dan outcome, atau aggregated outcome. Penghapusan duplikat terjadi setelah hasil ditentukan.

    Untuk kueri penelusuran gabungan, sertakan kolom ini ke bagian dedup:

    • Kolom dari bagian match
    • Kolom dari bagian outcome

  • Kueri penelusuran UDM: Kecualikan bagian match, outcome, atau aggregated outcome. Perhatikan bahwa kueri penelusuran UDM dapat menyertakan bagian outcome selama tidak ada gabungan dan tidak ada bagian match.

    Untuk kueri UDM, tambahkan kolom ini ke bagian dedup:

    • Kolom peristiwa yang tidak berulang, bukan array, dan tidak dikelompokkan
    • Kolom placeholder dari bagian events
    • Variabel hasil dari bagian outcome

Bagian ini menunjukkan sintaksis YARA-L dan dapat dijalankan di Penelusuran.

Contoh: Penelusuran sederhana untuk alamat IP unik

Contoh penelusuran berikut menampilkan koneksi jaringan antara peristiwa saat alamat IP unik dalam perusahaan Anda (principal.ip) terhubung ke alamat IP eksternal unik di luar perusahaan Anda (target.ip). Peristiwa tersebut dideduplikasi berdasarkan principal.ip.

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.ip != ""
   principal.ip != ""
match:
   target.ip, principal.ip
dedup:
   principal.ip

Contoh: Alamat IP unik

Mirip dengan contoh sebelumnya, contoh penelusuran berikut menampilkan peristiwa koneksi jaringan dengan alamat IP unik. Menerapkan dedup ke principal.ip mempersempit hasil ke peristiwa yang terkait dengan IP unik. Bagian outcome menampilkan total byte yang dikirim antara principal.ip dan target.ip, mengurutkan hasil dari volume traffic tertinggi hingga terendah.

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.ip != ""
   principal.ip != ""
match:
   target.ip, principal.ip
outcome:
   $total_bytes = sum(network.sent_bytes)
dedup:
   principal.ip
order:
   $total_bytes desc

Contoh: Penelusuran sederhana untuk nama host unik

Contoh berikut menelusuri setiap nama host unik yang diakses dari perusahaan Anda. Menerapkan dedup ke target.hostname mempersempit hasil ke peristiwa yang terkait dengan nama host eksternal unik.

metadata.log_type != ""
dedup:
    target.hostname

Berikut adalah contoh yang setara tanpa opsi dedup. Biasanya menampilkan lebih banyak peristiwa.

metadata.log_type != "" AND target.hostname != ""

Contoh: Nama host unik

Mirip dengan contoh sebelumnya, penelusuran ini menampilkan peristiwa koneksi jaringan dengan nama host unik. Menerapkan opsi dedup ke principal.hostname mempersempit hasil ke peristiwa yang terkait dengan host unik:

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.hostname != ""
   principal.hostname != ""
match:
   target.hostname, principal.hostname
outcome:
   $total_bytes = sum(network.sent_bytes)
dedup:
   principal.hostname
order:
   $total_bytes desc

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.