Cara Google SecOps memperkaya data peristiwa dan entitas

Dokumen ini menjelaskan cara Google Security Operations memperkaya data dan kolom Model Data Terpadu (UDM) tempat data disimpan.

Untuk mengaktifkan investigasi keamanan, Google SecOps menyerap data kontekstual dari berbagai sumber, melakukan analisis terhadap data tersebut, dan memberikan konteks tambahan tentang artefak di lingkungan pelanggan. Analis dapat menggunakan data yang diperkaya secara kontekstual dalam aturan Mesin Deteksi, penelusuran investigasi, atau laporan.

Google SecOps melakukan jenis pengayaan berikut:

• Memperkaya entitas menggunakan grafik dan penggabungan entitas.
• Menghitung dan memperkaya setiap entity dengan statistik prevalensi yang menunjukkan popularitasnya di lingkungan.
• Menghitung pertama kalinya jenis entitas tertentu terlihat di lingkungan atau waktu terakhir.
• Memperkaya entitas dengan informasi dari daftar ancaman Safe Browsing.
• Memperkaya peristiwa dengan data geolokasi.
• Memperkaya entity dengan data WHOIS.
• Memperkaya peristiwa dengan metadata file VirusTotal.
• Memperkaya entity dengan data hubungan VirusTotal.
• Menyerap dan menyimpan data Google Cloud Threat Intelligence.

Data yang diperkaya dari WHOIS, Safe Browsing, GCTI Threat Intelligence, metadata VirusTotal, dan hubungan VirusTotal diidentifikasi dengan entity_type, product_name, dan vendor_name. Saat membuat aturan yang menggunakan data yang telah dipertkaya ini, sebaiknya sertakan filter dalam aturan yang mengidentifikasi jenis pengayaan tertentu yang akan disertakan. Filter ini membantu meningkatkan performa aturan. Misalnya, sertakan kolom filter berikut di bagian events dari aturan yang menggabungkan data WHOIS.

$enrichment.graph.metadata.entity_type = "DOMAIN_NAME"
$enrichment.graph.metadata.product_name = "WHOISXMLAPI Simple Whois"
$enrichment.graph.metadata.vendor_name = "WHOIS"

Memperkaya entitas menggunakan grafik dan penggabungan entitas

Grafik entity mengidentifikasi hubungan antara entity dan resource di lingkungan Anda. Saat entitas dari berbagai sumber dimasukkan ke Google SecOps, grafik entitas akan mempertahankan daftar ketetanggaan berdasarkan hubungan antara entitas. Grafik entity melakukan pengayaan konteks dengan melakukan penghapusan duplikat dan penggabungan.

Selama penghapusan duplikat, data yang berlebihan akan dihilangkan dan interval akan dibentuk untuk membuat entitas umum. Misalnya, pertimbangkan dua entity e1 dan e2 dengan stempel waktu t1 dan t2. Entitas e1 dan e2 dideduplikasi dan stempel waktu yang berbeda tidak digunakan selama deduplikasi. Kolom berikut tidak digunakan selama penghapusan duplikat:

• collected_timestamp
• creation_timestamp
• interval

Selama penggabungan, hubungan antar-entitas dibentuk untuk interval waktu satu hari. Misalnya, pertimbangkan catatan entitas user A yang memiliki akses ke bucket Cloud Storage. Ada catatan entitas lain dari user A yang memiliki perangkat. Setelah digabungkan, kedua entitas ini menghasilkan satu entitas user A yang memiliki dua relasi. Salah satu relasinya adalah user A memiliki akses ke bucket Cloud Storage dan relasi lainnya adalah user A memiliki perangkat. Google SecOps melakukan penelusuran lima hari ke belakang saat membuat data konteks entitas. Hal ini menangani data yang terlambat tiba dan membuat waktu aktif implisit pada data konteks entitas.

Google SecOps menggunakan pembuatan alias untuk memperkaya data telemetri dan menggunakan grafik entitas untuk memperkaya entitas. Aturan mesin deteksi menggabungkan entitas yang digabungkan dengan data telemetri yang telah di-enrich untuk memberikan analisis kontekstual.

Peristiwa yang berisi kata benda entitas dianggap sebagai entitas. Berikut beberapa jenis peristiwa dan jenis entity yang sesuai:

• ASSET_CONTEXT sesuai dengan ASSET.
• RESOURCE_CONTEXT sesuai dengan RESOURCE.
• USER_CONTEXT sesuai dengan USER.
• GROUP_CONTEXT sesuai dengan GROUP.

Grafik entitas membedakan antara data kontekstual dan indikator kompromi (IOC) menggunakan informasi ancaman.

Saat Anda menggunakan data yang diperkaya secara kontekstual, pertimbangkan perilaku grafik entity berikut:

• Jangan menambahkan interval dalam entitas, dan biarkan grafik entitas membuat interval. Hal ini karena interval dibuat selama penghapusan duplikat kecuali dinyatakan lain.
• Jika interval ditentukan, hanya peristiwa yang sama yang akan dihapus duplikasinya, dan entitas terbaru akan dipertahankan.
• Untuk memastikan bahwa aturan aktif dan retrohunt berfungsi seperti yang diharapkan, entitas harus di-ingest setidaknya sekali sehari.
• Jika entitas tidak di-ingest setiap hari dan hanya di-ingest sekali dalam dua hari atau lebih, aturan live mungkin berfungsi seperti yang diharapkan, tetapi retrohunt mungkin kehilangan konteks peristiwa.
• Jika entitas di-ingest lebih dari sekali setiap hari, entitas tersebut akan dihilangkan duplikasinya menjadi satu entitas.
• Jika data peristiwa tidak ada selama satu hari, data hari sebelumnya akan digunakan untuk sementara guna memastikan aturan aktif berfungsi dengan baik.

Grafik entitas juga menggabungkan peristiwa yang memiliki ID serupa untuk mendapatkan tampilan data yang digabungkan. Penggabungan ini terjadi berdasarkan daftar ID berikut:

• Asset
  • entity.asset.product_object_id
  • entity.asset.hostname
  • entity.asset.asset_id
  • entity.asset.mac
• User
  • entity.user.product_object_id
  • entity.user.userid
  • entity.user.windows_sid
  • entity.user.email_addresses
  • entity.user.employee_id
• Resource
  • entity.resource.product_object_id
  • entity.resource.name
• Group
  • entity.group.product_object_id
  • entity.group.email_addresses
  • entity.group.windows_sid

Menghitung statistik prevalensi

Google SecOps melakukan analisis statistik pada data yang ada dan data yang masuk serta memperkaya rekaman konteks entitas dengan metrik terkait prevalensi.

Prevalensi adalah nilai numerik yang menunjukkan seberapa populer suatu entitas. Popularitas ditentukan oleh jumlah aset yang mengakses artefak, seperti domain, hash file, atau alamat IP. Makin besar angkanya, makin populer entitas tersebut. Misalnya, google.com memiliki nilai prevalensi yang tinggi karena sering diakses. Jika domain jarang diakses, domain tersebut akan memiliki nilai prevalensi yang lebih rendah. Entitas yang lebih populer biasanya cenderung tidak berbahaya.

Nilai yang diperkaya ini didukung untuk domain, IP, dan file (hash). Nilai dihitung dan disimpan di kolom berikut.

Statistik prevalensi untuk setiap entitas diperbarui setiap hari. Nilai disimpan dalam konteks entitas terpisah yang dapat digunakan oleh Detection Engine, tetapi tidak ditampilkan dalam tampilan investigasi Google SecOps dan penelusuran UDM.

Kolom berikut dapat digunakan saat membuat aturan Detection Engine.

Nilai day_max dan rolling_max dihitung secara berbeda. Kolom dihitung sebagai berikut:

• day_max dihitung sebagai skor prevalensi maksimum untuk artefak selama hari tersebut, dengan hari didefinisikan sebagai 00.00.00 - 23.59.59 UTC.
• rolling_max dihitung sebagai skor prevalensi maksimum per hari (yaitu day_max) untuk artefak selama periode 10 hari sebelumnya.
• day_count digunakan untuk menghitung rolling_max dan selalu bernilai 10.

Jika dihitung untuk domain, perbedaan antara day_max dan day_max_sub_domains (serta rolling_max dan rolling_max_sub_domains) adalah sebagai berikut:

• rolling_max dan day_max menunjukkan jumlah alamat IP internal unik harian yang mengakses domain tertentu (tidak termasuk subdomain).
• rolling_max_sub_domains dan day_max_sub_domains mewakili jumlah alamat IP internal unik yang mengakses domain tertentu (termasuk subdomain).

Statistik prevalensi dihitung pada data entity yang baru diproses. Penghitungan tidak dilakukan secara retroaktif pada data yang sebelumnya di-ingest. Perlu waktu sekitar 36 jam untuk menghitung dan menyimpan statistik.

Menghitung waktu pertama kali terlihat dan terakhir kali terlihat entitas

Google SecOps melakukan analisis statistik pada data yang masuk dan memperkaya catatan konteks entitas dengan waktu pertama kali terlihat dan terakhir kali terlihat suatu entitas. Kolom first_seen_time menyimpan tanggal dan waktu saat entitas pertama kali terlihat di lingkungan pelanggan. Kolom last_seen_time menyimpan tanggal dan waktu pengamatan terbaru.

Karena beberapa indikator (kolom UDM) dapat mengidentifikasi aset atau pengguna, waktu pertama kali terlihat adalah waktu pertama kali salah satu indikator yang mengidentifikasi pengguna atau aset terlihat di lingkungan pelanggan.

Semua kolom UDM yang mendeskripsikan aset adalah sebagai berikut:

• entity.asset.hostname
• entity.asset.ip
• entity.asset.mac
• entity.asset.asset_id
• entity.asset.product_object_id

Semua kolom UDM yang menjelaskan pengguna adalah sebagai berikut:

• entity.user.windows_sid
• entity.user.product_object_id
• entity.user.userid
• entity.user.employee_id
• entity.user.email_addresses

Waktu pertama kali terlihat dan waktu terakhir kali terlihat memungkinkan analis mengorelasikan aktivitas tertentu yang terjadi setelah domain, file (hash), aset, pengguna, atau alamat IP pertama kali terlihat atau yang berhenti terjadi setelah domain, file (hash), atau alamat IP terakhir kali terlihat.

Kolom first_seen_time dan last_seen_time diisi dengan entitas yang mendeskripsikan domain, alamat IP, dan file (hash). Untuk entitas yang mendeskripsikan pengguna atau aset, hanya kolom first_seen_time yang diisi. Nilai ini tidak dihitung untuk entity yang mendeskripsikan jenis lain, seperti grup atau resource.

Statistik dihitung untuk setiap entitas di semua namespace. Google SecOps tidak menghitung statistik untuk setiap entitas dalam namespace individual. Statistik ini saat ini tidak diekspor ke skemaGoogle SecOps events di BigQuery.

Nilai yang di-enrich dihitung dan disimpan di kolom UDM berikut:

Memperkaya peristiwa dengan data geolokasi

Data log masuk dapat mencakup alamat IP eksternal tanpa informasi lokasi yang sesuai. Hal ini umum terjadi saat peristiwa mencatat informasi tentang aktivitas perangkat yang tidak berada dalam jaringan perusahaan. Misalnya, peristiwa login ke layanan cloud akan berisi alamat IP sumber atau klien berdasarkan alamat IP eksternal perangkat yang ditampilkan oleh NAT operator.

Google SecOps menyediakan data yang diperkaya dengan geolokasi untuk alamat IP eksternal guna memungkinkan deteksi aturan yang lebih efektif dan konteks yang lebih baik untuk penyelidikan. Misalnya, Google SecOps dapat menggunakan alamat IP eksternal untuk memperkaya peristiwa dengan informasi tentang negara (seperti Amerika Serikat), negara bagian tertentu (seperti Alaska), dan jaringan tempat alamat IP berada (seperti ASN dan nama operator).

SecOps Google menggunakan data lokasi yang disediakan oleh Google untuk memberikan perkiraan lokasi geografis dan informasi jaringan untuk alamat IP. Anda dapat menulis aturan Detection Engine terhadap kolom ini dalam peristiwa. Data peristiwa yang telah di-enrich juga diekspor ke BigQuery, tempat data tersebut dapat digunakan dalam dasbor dan pelaporan Google SecOps.

Alamat IP berikut tidak di-enrich:

• Ruang alamat IP pribadi RFC 1918 karena bersifat internal untuk jaringan perusahaan.
• Ruang alamat IP multicast RFC 5771 karena alamat multicast tidak termasuk dalam satu lokasi.
• Alamat Lokal Unik IPv6.
• Alamat IP layananGoogle Cloud . Pengecualian adalah alamat IP eksternal Compute Engine, yang diperkaya. Google Cloud

Google SecOps memperkaya kolom UDM berikut dengan data geolokasi:

• principal
• target
• src
• observer

Contoh berikut menunjukkan jenis informasi geografis yang akan ditambahkan ke peristiwa UDM dengan alamat IP yang diberi tag ke Belanda:

Ketidakkonsistenan

Teknologi geolokasi IP eksklusif Google menggunakan kombinasi data jaringan dan input serta metode lainnya untuk memberikan lokasi alamat IP dan resolusi jaringan bagi pengguna kami. Organisasi lain mungkin menggunakan sinyal atau metode yang berbeda, yang terkadang dapat menghasilkan hasil yang berbeda.

Jika terjadi kasus di mana Anda mengalami inkonsistensi pada hasil geolokasi IP yang diberikan Google, harap buka kasus dukungan pelanggan, agar kami dapat menyelidiki dan, jika sesuai, memperbaiki catatan kami ke depannya.

Memperkaya entitas dengan informasi dari daftar ancaman Safe Browsing

Google SecOps menyerap data dari Safe Browsing yang terkait dengan hash file. Data untuk setiap file disimpan sebagai entitas dan memberikan konteks tambahan tentang file tersebut. Analis dapat membuat aturan Mesin Deteksi yang membuat kueri terhadap data konteks entitas ini untuk membangun analisis yang sadar konteks.

Informasi berikut disimpan dengan rekaman konteks entitas.

Memperkaya entitas dengan data WHOIS

Google SecOps menyerap data WHOIS setiap hari. Selama penyerapan data perangkat pelanggan yang masuk, Google SecOps mengevaluasi domain dalam data pelanggan terhadap data WHOIS. Jika ada kecocokan, Google SecOps akan menyimpan data WHOIS terkait dengan data entitas untuk domain tersebut. Untuk setiap entitas, jika entity.metadata.entity_type = DOMAIN_NAME, Google SecOps akan memperkaya entitas dengan informasi dari WHOIS.

Google SecOps mengisi data WHOIS yang telah di-enrich ke dalam kolom berikut dalam catatan entitas:

• entity.domain.admin.attribute.labels
• entity.domain.audit_update_time
• entity.domain.billing.attribute.labels
• entity.domain.billing.office_address.country_or_region
• entity.domain.contact_email
• entity.domain.creation_time
• entity.domain.expiration_time
• entity.domain.iana_registrar_id
• entity.domain.name_server
• entity.domain.private_registration
• entity.domain.registrant.company_name
• entity.domain.registrant.office_address.state
• entity.domain.registrant.office_address.country_or_region
• entity.domain.registrant.email_addresses
• entity.domain.registrant.user_display_name
• entity.domain.registrar
• entity.domain.registry_data_raw_text
• entity.domain.status
• entity.domain.tech.attribute.labels
• entity.domain.update_time
• entity.domain.whois_record_raw_text
• entity.domain.whois_server
• entity.domain.zone

Untuk mengetahui deskripsi kolom ini, lihat dokumen daftar kolom Model Data Terpadu.

Menyerap dan menyimpan Google Cloud data Threat Intelligence

Google SecOps menyerap data dari sumber data Google Cloud Threat Intelligence (GCTI) yang memberikan informasi kontekstual yang dapat Anda gunakan saat menyelidiki aktivitas di lingkungan Anda. Anda dapat membuat kueri sumber data berikut:

• Node Keluar Tor GCTI: Alamat IP yang diketahui sebagai node keluar Tor.
• Biner Aman GCTI: file yang merupakan bagian dari distribusi asli sistem operasi atau diupdate oleh patch sistem operasi resmi. Beberapa biner sistem operasi resmi yang telah disalahgunakan oleh musuh melalui aktivitas yang umum dalam serangan living-off-the-land dikecualikan dari sumber data ini, seperti yang berfokus pada vektor entri awal.

• Alat Akses Jarak Jauh GCTI: file yang sering digunakan oleh pelaku kejahatan. Alat ini umumnya merupakan aplikasi yang sah yang terkadang disalahgunakan untuk terhubung dari jarak jauh ke sistem yang disusupi.

  Data kontekstual ini disimpan secara global sebagai entitas. Anda dapat mengkueri data menggunakan aturan mesin deteksi. Sertakan kolom dan nilai UDM berikut dalam aturan untuk membuat kueri entitas global ini:

• graph.metadata.vendor_name = Google Cloud Threat Intelligence

• graph.metadata.product_name = GCTI Feed

Dalam dokumen ini, placeholder <variable_name> merepresentasikan nama variabel unik yang digunakan dalam aturan untuk mengidentifikasi rekaman UDM.

Sumber data Threat Intelligence yang memiliki batas waktu versus yang tidak memiliki batas waktu Google Cloud

Google Cloud Sumber data Threat Intelligence dapat berupa berjangka waktu atau tidak berjangka waktu.

Sumber data berjangka waktu memiliki rentang waktu yang terkait dengan setiap entri. Artinya, jika deteksi dibuat pada hari ke-1, pada hari apa pun di masa mendatang, deteksi yang sama diharapkan dibuat untuk hari ke-1 selama perburuan retro.

Sumber data abadi tidak memiliki rentang waktu yang terkait dengannya. Hal ini karena hanya kumpulan data terbaru yang harus dipertimbangkan. Sumber data abadi sering digunakan untuk data seperti hash file yang tidak diharapkan berubah. Jika tidak ada deteksi yang dihasilkan pada hari ke-1, pada hari ke-2, deteksi mungkin dihasilkan untuk hari ke-1 selama perburuan retro karena entri baru ditambahkan.

Data tentang alamat IP node keluar Tor

Google SecOps menyerap dan menyimpan alamat IP yang merupakan node keluar Tor yang diketahui. Node keluar Tor adalah titik tempat traffic keluar dari jaringan Tor. Informasi yang diserap dari sumber data ini disimpan di kolom UDM berikut. Data dalam sumber ini diatur waktunya.

Data tentang file sistem operasi yang tidak berbahaya

Google SecOps menyerap dan menyimpan hash file dari sumber data Biner Aman GCTI. Informasi yang diserap dari sumber data ini disimpan di kolom UDM berikut. Data dalam sumber ini tidak memiliki batas waktu.

Data tentang alat akses jarak jauh

Alat akses jarak jauh mencakup hash file untuk alat akses jarak jauh yang diketahui seperti klien VNC yang sering digunakan oleh pelaku kejahatan. Alat ini umumnya merupakan aplikasi yang sah yang terkadang disalahgunakan untuk terhubung dari jarak jauh ke sistem yang terkompromi. Informasi yang diserap dari sumber data ini disimpan di kolom UDM berikut. Data dalam sumber ini tidak memiliki batas waktu.

Memperkaya peristiwa dengan metadata file VirusTotal

Google SecOps memperkaya hash file ke dalam peristiwa UDM dan memberikan konteks tambahan selama investigasi. Peristiwa UDM diperkaya melalui alias hash di lingkungan pelanggan. Penggabungan hash menggabungkan semua jenis hash file dan memberikan informasi tentang hash file selama penelusuran.

Integrasi metadata file VirusTotal dan pengayaan hubungan dengan Google SecOps dapat digunakan untuk mengidentifikasi pola aktivitas berbahaya dan melacak pergerakan malware di seluruh jaringan.

Log mentah memberikan informasi terbatas tentang file. VirusTotal memperkaya peristiwa dengan metadata file untuk memberikan dump hash buruk beserta metadata tentang file buruk. Metadata mencakup informasi seperti nama file, jenis, fungsi yang diimpor, dan tag. Anda dapat menggunakan informasi ini di mesin telusur dan deteksi UDM dengan YARA-L untuk memahami peristiwa file berbahaya dan secara umum selama perburuan ancaman. Contoh kasus penggunaan adalah mendeteksi modifikasi apa pun pada file asli yang pada gilirannya akan mengimpor metadata file untuk deteksi ancaman.

Informasi berikut disimpan bersama data. Untuk mengetahui daftar semua kolom UDM, lihat Daftar kolom Model Data Terpadu.