Mengonfigurasi ekspor data ke BigQuery di project Google Cloud yang dikelola sendiri

Google Security Operations memungkinkan Anda mengekspor data Unified Data Model (UDM) ke project mandiri yang Anda miliki dan kelola. Anda dapat menautkan project Google Cloud Anda sendiri ke instance Google SecOps dan mengelola izin IAM secara independen tanpa bergantung pada setelan yang dikelola Google. Anda juga dapat mengaktifkan dan mengonfigurasi fitur Bring Your Own BigQuery (BYOBQ) dengan memilih SIEM Settings > Data Export.

Google SecOps mengekspor kategori data berikut ke project BigQuery Anda:

  • udm_events: data log yang dinormalisasi ke dalam skema UDM.
  • udm_events_aggregates: data gabungan yang diringkas berdasarkan setiap jam peristiwa yang dinormalisasi.
  • entity_graph: Ada tiga dimensi (data kontekstual, data turunan, dan konteks global) untuk grafik entity. Semua data kontekstual dan data turunan, serta bagian dari data konteks global adalah data yang ditulis dan disimpan sebagai UDM.
  • rule_detections: deteksi yang ditampilkan oleh aturan yang dijalankan di Google SecOps.
  • ioc_matches: Kecocokan IOC yang ditemukan terhadap peristiwa UDM.
  • ingestion_metrics: metrik yang terkait dengan pipeline penyerapan dan normalisasi (diekspor secara default).
  • udm_enum_value_to_name_mapping: memetakan nilai enum ke nama kolom UDM (diekspor secara default).
  • entity_enum_value_to_name_mapping: memetakan nilai enum ke nama kolom entity (diekspor secara default).

Periode retensi data

Jika Anda adalah pelanggan lama dan mengaktifkan fitur ini, data BigQuery yang telah diekspor ke project yang dikelola Google akan tetap berada di project tersebut selama periode retensi yang ditentukan.

Periode retensi dimulai dari tanggal ekspor data paling awal:

  • Periode retensi untuk ekspor BigQuery dapat dikonfigurasi per sumber data, dan dapat ditetapkan ke periode retensi maksimum yang setara dengan periode retensi log default di Google SecOps.
  • Jika tidak ada periode retensi yang ditentukan, perilaku defaultnya adalah terus mengekspor data tanpa pembersihan atau penghapusan permanen, untuk membatasi periode retensi. Dalam hal ini, Anda dapat langsung membuat kebijakan retensi kustom untuk bucket Cloud Storage, tempat data diekspor dalam project Bring Your Own Project (BYOP) untuk digunakan sebagai tabel eksternal di BigQuery.

Migrasi data untuk pelanggan lama

Jika Anda adalah pelanggan lama, data Anda dari project yang dikelola Google yang ada tidak akan dimigrasikan ke project yang dikelola sendiri. Karena data tidak dimigrasikan, data Anda berada di dua project terpisah. Untuk membuat kueri data dalam rentang waktu yang mencakup tanggal pengaktifan project mandiri, Anda harus menyelesaikan salah satu tindakan berikut:

  • Gunakan satu kueri yang menggabungkan data di kedua project.
  • Jalankan dua kueri terpisah di masing-masing project, satu untuk data sebelum tanggal aktivasi project yang dikelola sendiri dan satu untuk data setelahnya. Saat periode retensi untuk project yang dikelola Google berakhir, data tersebut akan dihapus. Anda hanya dapat membuat kueri data yang ada dalam project Google Cloud setelah titik tersebut.

Izin yang diperlukan untuk mengekspor data

Untuk mengakses data BigQuery, jalankan kueri dalam BigQuery itu sendiri. Tetapkan peran IAM berikut kepada pengguna yang memerlukan akses:

Memulai ekspor data BigQuery ke project mandiri Anda

  1. Buat project Google Cloud tempat Anda ingin mengekspor data. Untuk informasi selengkapnya, lihat Mengonfigurasi Google Cloud project untuk Google SecOps.

  2. Tautkan project mandiri Anda ke instance Google SecOps untuk membuat koneksi antara Google SecOps dan project mandiri Anda. Untuk informasi selengkapnya, lihat Menautkan Google Security Operations ke Google Cloud layanan. Anda juga dapat mengaktifkan dan mengonfigurasi fitur Bring Your Own BigQuery (BYOBQ) dengan memilih SIEM Settings > Data Export.

  3. Untuk memvalidasi bahwa data diekspor ke project mandiri Anda, periksa tabel di bagian set data datalake di BigQuery.

Anda dapat menulis kueri ad-hoc terhadap data Google SecOps yang disimpan di tabel BigQuery. Anda juga dapat membuat analisis yang lebih canggih menggunakan alat pihak ketiga lainnya yang terintegrasi dengan BigQuery.

Semua resource yang dibuat di project Google Cloud yang dikelola sendiri untuk mengaktifkan ekspor, termasuk bucket Cloud Storage dan tabel BigQuery, berada di region yang sama dengan Google SecOps.

Jika Anda mendapatkan error seperti Unrecognized name: <field_name> at [<some_number>:<some_number>] saat membuat kueri BigQuery, artinya kolom yang Anda coba akses tidak ada dalam set data dan karena skema Anda dibuat secara dinamis selama proses ekspor.

Untuk mengetahui informasi selengkapnya tentang data Google SecOps di BigQuery, lihat Data Google SecOps di BigQuery.

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.