Data Google Security Operations di BigQuery

Didukung di:

Google Security Operations menyediakan data lake terkelola yang berisi telemetri yang dinormalisasi dan diperkaya dengan intelijen ancaman dengan mengekspor data ke BigQuery. Hal ini memungkinkan Anda melakukan hal berikut:

  • Jalankan kueri ad hoc langsung di BigQuery.
  • Gunakan alat business intelligence Anda sendiri, seperti Looker atau Microsoft Power BI, untuk membuat dasbor, laporan, dan analisis.
  • Menggabungkan data Google Security Operations dengan set data pihak ketiga.
  • Jalankan analisis menggunakan ilmu data atau alat machine learning.
  • Jalankan laporan menggunakan dasbor default standar dan dasbor kustom.

Google Security Operations mengekspor kategori data berikut ke BigQuery:

  • Data peristiwa UDM: Data peristiwa UDM yang dibuat dari data log yang ditransfer oleh pelanggan. Data ini diperkaya dengan informasi alias.
  • Kecocokan aturan (deteksi): instance saat aturan cocok dengan satu atau beberapa peristiwa.
  • Kecocokan IoC: artefak (misalnya domain, alamat IP) dari peristiwa yang cocok dengan feed Indikator Gangguan (IoC). Hal ini mencakup pencocokan dari feed global dan feed khusus pelanggan.
  • Metrik penyerapan: mencakup statistik, seperti jumlah baris log yang ditransfer, jumlah peristiwa yang dihasilkan dari log, jumlah error log yang menunjukkan bahwa log tidak dapat diuraikan, dan status penerusan Google Security Operations. Untuk mengetahui informasi selengkapnya, lihat Skema BigQuery metrik penyerapan.
  • Diagram entity dan hubungan entity: menyimpan deskripsi entity dan hubungannya dengan entity lain.

Alur ekspor data

Alur ekspor data adalah sebagai berikut:

  1. Kumpulan data Google Security Operations, yang khusus untuk kasus penggunaan, diekspor ke instance BigQuery yang ada di project Google Cloud khusus pelanggan dan dikelola oleh Google. Data untuk setiap kasus penggunaan diekspor ke tabel terpisah. Data ini diekspor dari Google Security Operations ke BigQuery dalam project khusus pelanggan.
  2. Sebagai bagian dari ekspor, Google Security Operations membuat model data Looker yang telah ditentukan sebelumnya untuk setiap kasus penggunaan.
  3. Dasbor default Google Security Operations dibuat menggunakan model data Looker yang telah ditentukan. Anda dapat membuat dasbor kustom di Google Security Operations menggunakan model data Looker standar.
  4. Pelanggan dapat menulis kueri ad hoc terhadap data Google Security Operations yang disimpan di tabel BigQuery.

  5. Pelanggan juga dapat membuat analisis yang lebih canggih menggunakan alat pihak ketiga lainnya yang terintegrasi dengan BigQuery.

    Ekspor data yang akan diproses ke BigQuery

Instance BigQuery dibuat di region yang sama dengan tenant Google Security Operations. Satu instance BigQuery dibuat untuk setiap ID pelanggan. Log mentah tidak diekspor ke data lake Google Security Operations di BigQuery. Data diekspor berdasarkan pengisian ke depan. Saat data diserap dan dinormalisasi di Google Security Operations, data tersebut diekspor ke BigQuery. Anda tidak dapat mengisi ulang data yang sebelumnya ditransfer. Periode retensi untuk data di semua tabel BigQuery adalah 365 hari.

Untuk koneksi Looker, hubungi perwakilan Google Security Operations Anda untuk mendapatkan kredensial akun layanan yang memungkinkan Anda menghubungkan instance Looker ke data Google Security Operations di BigQuery. Akun layanan akan memiliki izin hanya baca.

Ringkasan tabel

Google Security Operations membuat set data datalake di BigQuery dan tabel berikut:

  • entity_enum_value_to_name_mapping: untuk jenis yang dihitung dalam tabel entity_graph, memetakan nilai numerik ke nilai string.
  • entity_graph: menyimpan data tentang entity UDM.
  • events: menyimpan data tentang peristiwa UDM.
  • ingestion_metrics: menyimpan statistik terkait penyerapan dan normalisasi data dari sumber penyerapan tertentu, seperti penerusan, feed, dan Ingestion API Google Security Operations.
  • ioc_matches: menyimpan kecocokan IOC yang ditemukan terhadap peristiwa UDM.
  • job_metadata: tabel internal yang digunakan untuk melacak ekspor data ke BigQuery.
  • rule_detections: menyimpan deteksi yang ditampilkan oleh aturan yang dijalankan di Google Security Operations.
  • rulesets: menyimpan informasi tentang deteksi yang diseleksi Google Security Operations, termasuk kategori setiap kumpulan aturan, apakah diaktifkan atau tidak, dan status pemberitahuan saat ini.
  • udm_enum_value_to_name_mapping: Untuk jenis yang dihitung dalam tabel peristiwa, memetakan nilai numerik ke nilai string.
  • udm_events_aggregates: menyimpan data gabungan yang diringkas berdasarkan jam peristiwa yang dinormalisasi.

Mengakses data di BigQuery

Anda dapat menjalankan kueri langsung di BigQuery atau menghubungkan alat intelijen bisnis Anda sendiri, seperti Looker atau Microsoft Power BI, ke BigQuery.

Untuk mengaktifkan akses ke instance BigQuery, gunakan CLI Google Security Operations atau BigQuery Access API Google Security Operations. Anda dapat memberikan alamat email untuk pengguna atau grup yang Anda miliki. Jika Anda mengonfigurasi akses ke grup, gunakan grup untuk mengelola anggota tim mana yang dapat mengakses instance BigQuery.

Untuk menghubungkan Looker atau alat business intelligence lainnya ke BigQuery, hubungi perwakilan Google Security Operations untuk mendapatkan kredensial akun layanan yang memungkinkan Anda menghubungkan aplikasi ke set data BigQuery Google Security Operations. Akun layanan akan memiliki peran IAM BigQuery Data Viewer (roles/bigquery.dataViewer) dan peran BigQuery Job Viewer (roles/bigquery.jobUser).

Langkah selanjutnya