Mengonfigurasi ekspor data ke BigQuery di project Google Cloud yang dikelola sendiri

Google Security Operations memungkinkan Anda mengekspor data Model Data Terpadu (UDM) ke project yang dikelola sendiri yang Anda miliki dan kelola. Anda dapat menautkan project Google Cloud Anda sendiri ke instance Google SecOps dan mengelola izin IAM secara independen tanpa bergantung pada setelan yang dikelola Google. Anda juga dapat mengaktifkan dan mengonfigurasi fitur Bring Your Own BigQuery (BYOBQ) dengan memilih SIEM Settings > Data Export.

Google SecOps mengekspor kategori data berikut ke project BigQuery Anda:

  • udm_events: data log yang dinormalisasi ke dalam skema UDM.
  • udm_events_aggregates: data gabungan yang diringkas oleh setiap jam peristiwa yang dinormalisasi.
  • entity_graph: Ada tiga dimensi (data kontekstual, data turunan, dan konteks global) pada grafik entity. Semua data kontekstual dan data turunan, serta bagian dari data konteks global adalah data yang ditulis dan disimpan sebagai UDM.
  • rule_detections: deteksi yang ditampilkan oleh aturan yang dijalankan di Google SecOps.
  • ioc_matches: Kecocokan IOC yang ditemukan terhadap peristiwa UDM.
  • ingestion_metrics: metrik yang terkait dengan pipeline penyerapan dan normalisasi (diekspor secara default).
  • udm_enum_value_to_name_mapping: memetakan nilai enum ke nama kolom UDM (diekspor secara default).
  • entity_enum_value_to_name_mapping: memetakan nilai enum ke nama kolom entity (diekspor secara default).

Periode retensi data

Jika Anda adalah pelanggan lama, periode retensi yang Anda tetapkan akan menentukan berapa lama data yang diekspor untuk BigQuery Anda tetap berada di project yang dikelola Google.

Periode retensi dimulai dari tanggal catatan yang diekspor paling awal. Anda dapat mengonfigurasi periode retensi terpisah untuk setiap sumber data, hingga maksimum yang cocok dengan periode retensi log default di Google SecOps.

Jika tidak ada periode retensi yang ditentukan, perilaku defaultnya adalah terus mengekspor data tanpa pembersihan atau penghapusan permanen, untuk membatasi periode retensi.

Dalam hal ini, Anda dapat menetapkan periode retensi ke Tanpa Batas:

  • Klik Setelan SIEM > Ekspor Data.
  • Di kolom Periode Retensi pada tabel Ekspor Data, pilih Tidak Terbatas dari daftar untuk jenis data yang relevan.

Kemudian, Anda dapat menyiapkan aturan siklus proses objek di bucket penyimpanan Google Cloud untuk menghapus objek sesuai kebutuhan.

Migrasi data untuk pelanggan lama

Jika Anda adalah pelanggan lama, data Anda dari project yang dikelola Google tidak dimigrasikan ke project yang dikelola sendiri. Karena data tidak dimigrasikan, data Anda berada di dua project terpisah. Untuk membuat kueri data di rentang waktu yang mencakup tanggal aktivasi project yang dikelola sendiri, Anda harus menyelesaikan salah satu tindakan berikut:

  • Gunakan satu kueri yang menggabungkan data di kedua project.
  • Jalankan dua kueri terpisah di masing-masing project, satu untuk data sebelum tanggal aktivasi project yang dikelola sendiri dan satu untuk data setelahnya. Saat periode retensi untuk project yang dikelola Google berakhir, data tersebut akan dihapus. Anda hanya dapat membuat kueri data yang ada dalam project Google Cloud Anda setelah titik tersebut.

Izin yang diperlukan untuk mengekspor data

Untuk mengakses data BigQuery, jalankan kueri Anda dalam BigQuery itu sendiri. Tetapkan peran IAM berikut kepada pengguna yang memerlukan akses:

Mulai ekspor data BigQuery ke project yang dikelola sendiri

  1. Buat project Google Cloud tempat Anda ingin mengekspor data. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi Google Cloud project untuk Google SecOps.

  2. Tautkan project yang dikelola sendiri ke instance Google SecOps Anda untuk membuat koneksi antara Google SecOps dan project yang dikelola sendiri. Untuk mengetahui informasi selengkapnya, lihat Menautkan Google Security Operations ke layanan Google Cloud . Anda juga dapat mengaktifkan dan mengonfigurasi fitur Bring Your Own BigQuery (BYOBQ) dengan memilih SIEM Settings > Data Export.

  3. Untuk memvalidasi bahwa data diekspor ke project yang dikelola sendiri, periksa tabel di set data datalake di BigQuery.

Anda dapat menulis kueri ad-hoc terhadap data Google SecOps yang disimpan dalam tabel BigQuery. Anda juga dapat membuat analisis yang lebih canggih menggunakan alat pihak ketiga lainnya yang terintegrasi dengan BigQuery.

Semua resource yang dibuat di project yang dikelola sendiri untuk mengaktifkan ekspor, termasuk bucket Cloud Storage dan tabel BigQuery, berada di region yang sama dengan Google SecOps. Google Cloud

Jika Anda mendapatkan error seperti Unrecognized name: <field_name> at [<some_number>:<some_number>] saat membuat kueri BigQuery, berarti kolom yang Anda coba akses tidak ada dalam set data Anda dan karena skema Anda dibuat secara dinamis selama proses ekspor.

Untuk mengetahui informasi selengkapnya tentang data Google SecOps di BigQuery, lihat Data Google SecOps di BigQuery.

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.