Halaman ini diterjemahkan oleh Cloud Translation API.

Mengekspor temuan secara massal ke BigQuery

Dokumen ini menjelaskan cara memulai ekspor massal on-demand temuan Security Command Center ke BigQuery.

BigQuery adalah data warehouse analisis yang terkelola sepenuhnya, berskala petabyte, dan hemat biaya dari Google Cloud, yang memungkinkan Anda menjalankan analisis pada sejumlah besar data secara hampir real time. Untuk mempelajari BigQuery lebih lanjut, lihat dokumentasi BigQuery.

Ringkasan

Fitur ini memberikan ringkasan temuan hingga titik waktu tertentu. Fitur ini melengkapi BigQuery Export berkelanjutan untuk memberikan analisis dan pelaporan yang komprehensif.

Dengan ekspor massal, Anda dapat melakukan hal berikut:

Membuat ekspor massal BigQuery
Melihat status ekspor massal BigQuery

Struktur set data

Temuan diekspor ke BigQuery sebagai baris dalam tabel findings, yang dikelompokkan menurut source_id, finding_id, dan event_time.

Setiap set data berisi tabel findings, yang memiliki kolom berikut:

Kolom	Deskripsi
`source_id`	ID unik yang ditetapkan Security Command Center ke sumber temuan. Misalnya, semua temuan dari sumber Cloud Anomaly Detection memiliki nilai `source_id` yang sama. Contoh: `1234567890`
`finding_id`	ID unik yang merepresentasikan temuan. ID ini unik dalam sumber untuk organisasi. Alfanumerik dan memiliki kurang dari atau sama dengan 32 karakter.
`event_time`	Waktu terjadinya peristiwa atau waktu terjadinya update pada temuan. Misalnya, jika temuan merepresentasikan firewall yang terbuka, maka `event_time` akan mencatat waktu saat detektor yakin bahwa firewall dibuka. Jika temuan diselesaikan setelahnya, maka waktu ini mencerminkan kapan temuan tersebut diselesaikan. Contoh: `2019-09-26 12:48:00.985000 UTC`
`bulk_export_id`	Untuk ekspor massal (Pratinjau), ini adalah UUID. Untuk ekspor berkelanjutan, kolom ini kosong.
`finding`	Kumpulan data penilaian seperti keamanan, risiko, kesehatan, atau privasi, yang dimasukkan ke Security Command Center untuk presentasi, pemberitahuan, analisis, pengujian kebijakan, dan penegakan. Misalnya, kerentanan pembuatan skrip lintas situs (XSS) di aplikasi App Engine adalah temuan. Untuk mengetahui informasi selengkapnya tentang kolom bertingkat, lihat referensi API untuk objek `Finding`.
`resource`	Informasi terkait resource yang dikaitkan dengan temuan ini. Google Cloud Untuk mengetahui informasi selengkapnya tentang kolom bertingkat, lihat referensi API untuk objek `Resource`.

Biaya

Anda akan dikenai biaya BigQuery terkait fitur ini untuk menyimpan data di BigQuery. Untuk mengetahui informasi selengkapnya, lihat Harga penyimpanan BigQuery.

Sebelum memulai

Anda harus menyelesaikan langkah-langkah ini sebelum mengaktifkan fitur ini.

Siapkan izin

Untuk menyelesaikan panduan ini, Anda harus memiliki peran Identity and Access Management (IAM) berikut:

Di organisasi tempat Anda ingin mengekspor temuan, lakukan salah satu hal berikut:
- Security Center BigQuery Exports Editor (roles/securitycenter.bigQueryExportsEditor)
- Security Center Admin (roles/securitycenter.admin)
Untuk mempelajari peran Security Command Center lebih lanjut, lihat Kontrol akses.
Di set data BigQuery, BigQuery Data Owner (roles/bigquery.dataOwner)

Untuk mempelajari peran BigQuery lebih lanjut, lihat Peran dan izin IAM BigQuery.
Di project tempat set data BigQuery tujuan berada, ProjectIAMAdmin (roles/resourcemanager.projectIamAdmin)

Membuat set data BigQuery

Buat set data BigQuery menggunakan langkah-langkah di Membuat set data.

Mengaktifkan Security Command Center API

Untuk mengekspor temuan, Anda harus mengaktifkan Security Command Center API dengan mengikuti langkah-langkah berikut:

Buka halaman API Library di konsol Google Cloud .

Buka Library API
Pilih project yang ingin Anda aktifkan Security Command Center API-nya.
Di kolom Search, masukkan Security Command Center, lalu klik Security Command Center di hasil penelusuran.
Di halaman API yang muncul, klik Enable.

Security Command Center API diaktifkan untuk project Anda.

Memberikan akses perimeter di Kontrol Layanan VPC

Jika Anda menggunakan Kontrol Layanan VPC, tinjau Memberi akses perimeter di Kontrol Layanan VPC dan terapkan langkah-langkah tersebut, jika perlu.

Langkah ini harus diulangi untuk setiap pengguna yang membuat ekspor massal untuk perimeter layanan tertentu.

Membuat aturan ingress untuk ekspor massal BigQuery baru

Jika Anda menggunakan Kontrol Layanan VPC, tinjau Membuat aturan masuk untuk ekspor baru ke BigQuery dan terapkan langkah-langkah tersebut, jika perlu.

Batasan untuk ekspor massal BigQuery

Pertimbangkan batasan berikut saat membuat ekspor massal BigQuery:

Hanya tiga ekspor massal serentak yang diizinkan dalam satu waktu untuk satu organisasi.
Jika Anda meminta beberapa ekspor massal non-serentak ke set data BigQuery yang sama, temuan yang lebih baru dalam ekspor akan ditambahkan ke tabel findings BigQuery. Temuan tidak ditimpa.

Membuat ekspor massal BigQuery

Ekspor massal temuan hanya dapat dilakukan di tingkat organisasi.

Untuk memulai ekspor massal temuan ke instance BigQuery, gunakan gcloud CLI dan ikuti langkah-langkah berikut:

Buka konsol Google Cloud .

Buka Google Cloud konsol
Pilih project tempat Anda mengaktifkan Security Command Center API.
Klik Activate Cloud Shell.
Untuk membuat konfigurasi ekspor baru, jalankan perintah berikut:
```
gcloud scc findings export-to-bigquery PARENT \
    --dataset=DATASET_NAME \
    [--location=LOCATION; default="global"] \
```
Ganti kode berikut:
- PARENT: Nama relatif cakupan ekspor. Contoh format: organizations/ORGANIZATION_ID
- DATASET_NAME: Nama set data BigQuery. Contoh format: projects/PROJECT_ID/datasets/DATASET_ID
- LOCATION: lokasi Security Command Center tempat konfigurasi ekspor akan dibuat; jika retensi data diaktifkan, gunakan eu, sa, atau us; jika tidak, gunakan nilai global. Variabel ini bersifat opsional.
  
  Misalnya, untuk membuat ekspor massal semua temuan, jalankan perintah berikut:
```
gcloud scc findings export-to-bigquery organizations/123
  --dataset=projects/123/datasets/DATASET
```
  Dalam hal lokasi penyimpanan data, contoh sebelumnya memanggil endpoint global.
  
  Untuk membuat ekspor massal yang sama untuk endpoint eu, jalankan perintah berikut:
```
gcloud scc findings export-to-bigquery organizations/123
  --dataset=projects/123/datasets/DATASET
  --location=locations/eu
```

Perintah ini menampilkan objek operasi yang berjalan lama yang berisi string name yang diperlukan saat melacak status ekspor. Untuk melacak status ekspor massal BigQuery ini, lihat Melihat status ekspor massal.

Untuk meninjau temuan Anda, lihat Meninjau temuan.

Kueri

Untuk berbagai kueri yang dapat Anda gunakan untuk menganalisis data temuan, lihat Kueri yang berguna.

Melihat status ekspor massal

Untuk melihat status ekspor massal, Anda memerlukan string long running operation name yang dikembalikan kepada Anda saat Anda membuat ekspor massal.

Buka konsol Google Cloud .

Buka Google Cloud konsol
Pilih project tempat Anda mengaktifkan Security Command Center API.
Klik Activate Cloud Shell.
Untuk memverifikasi detail konfigurasi ekspor massal, jalankan perintah berikut:
```
gcloud scc operations describe LONG_RUNNING_OPERATION_NAME \
    --organization=ORGANIZATION_ID
```
Ganti kode berikut:
- LONG_RUNNING_OPERATION_NAME: String name yang ditampilkan saat Anda membuat ekspor massal.
- ORGANIZATION_ID
  
  Misalnya, untuk melihat status permintaan ekspor massal, name: "long-running-operation-name" yang ditampilkan dari organisasi dengan ID organisasi yang ditetapkan ke 123, jalankan perintah berikut:
```
gcloud scc operations describe long-running-operation-name \
  --organization=123
```

Jika ekspor berhasil, respons akan berisi done: true.
Jika ekspor gagal, respons akan berisi kode error.
Jika ekspor masih berlangsung, respons tidak berisi done: true maupun kode error.

Ekspor massal dan ekspor berkelanjutan BigQuery

Jika Anda ingin menggunakan ekspor BigQuery massal dan berkelanjutan secara bersamaan pada set data BigQuery yang sama, ada dua kemungkinan pendekatan:

Buat ekspor berkelanjutan terlebih dahulu, lalu isi ulang dengan ekspor massal.
1. Siapkan ekspor berkelanjutan ke set data BigQuery. Setelah ekspor berhasil dibuat, Anda akan mulai menerima temuan Security Command Center secara real time.
2. Buat ekspor massal menggunakan set data BigQuery tujuan yang sama. Snapshot semua temuan Security Command Center pada saat ekspor akan diekspor ke set data yang dipilih.
Ekspor massal memerlukan waktu untuk dijalankan. Jadi, jika ekspor berkelanjutan dibuat pada T1, ekspor massal dipicu pada T2, dan snapshot temuan untuk ekspor massal selesai pada T3, maka duplikat data dapat terlihat antara T1 dan T3. Namun, tidak ada kesenjangan temuan.
Buat ekspor massal terlebih dahulu, lalu buat ekspor berkelanjutan.
1. Buat ekspor massal. Snapshot semua temuan Security Command Center pada saat ekspor dijalankan akan diekspor ke set data BigQuery yang dipilih.
2. Siapkan ekspor berkelanjutan ke set data BigQuery tujuan yang sama. Setelah ekspor berhasil dibuat, Anda akan mulai menerima temuan Security Command Center secara real time.
Jika ekspor massal dibuat pada T1, snapshot temuan untuk ekspor massal selesai pada T2, dan ekspor berkelanjutan dipicu pada T3, maka temuan antara T2 dan T3 dapat hilang di set data BigQuery.

Langkah berikutnya

Pelajari cara melakukan ekspor satu kali di Security Command Center.
Pelajari cara melakukan streaming temuan secara berkelanjutan ke BigQuery untuk dianalisis.