Batas lonjakan

Dokumen ini menjelaskan batas lonjakan yang berlaku untuk resource Google Security Operations, khususnya volume data yang dapat di-ingest ke Google SecOps oleh satu pelanggan. Batas lonjakan membatasi penggunaan resource yang dibagikan oleh semua pelanggan:

• Batas atas penyerapan data yang dapat digunakan oleh satu pelanggan. Hal ini memastikan bahwa lonjakan data yang tiba-tiba dari satu pelanggan tidak memengaruhi pelanggan lain.
• Memantau penggunaan resource bersama untuk setiap pelanggan.
• Mempertahankan konfigurasi yang otomatis menerapkan batas lonjakan.
• Menyediakan cara untuk meminta atau membuat perubahan pada batas lonjakan.

Untuk perlindungan lonjakan, batas burst diukur selama periode 5 menit. Ini bukan batas penyerapan harian.

Peningkatan batas burst per pelanggan

Jika Anda berniat meningkatkan kecepatan penyerapan data dengan cepat, kami dapat membantu Anda membuat rencana awal dan memastikan penyerapan data Anda tetap stabil. Untuk meminta peningkatan batas burst, hubungi Dukungan Teknis Google SecOps terlebih dahulu.

Ringkasan batas lonjakan

Batas burst membatasi jumlah data yang dapat dikirim satu pelanggan ke Google SecOps. Hal ini memastikan keadilan dan mencegah dampak pada pelanggan lain akibat lonjakan penyerapan data dari satu pelanggan. Batas burst memastikan penyerapan data pelanggan berjalan lancar dan dapat disesuaikan secara proaktif menggunakan tiket dukungan. Untuk menerapkan batas lonjakan, Google SecOps menggunakan klasifikasi berikut berdasarkan volume penyerapan:

Pedoman berikut berlaku untuk batas lonjakan:

• Saat batas burst tercapai, sumber penyerapan yang dikonfigurasi dengan benar harus disetel ke buffer data tambahan. Data tidak boleh dikonfigurasi untuk menghapus data.

  • Untuk penyerapan berbasis penarikan seperti Google Cloud dan feed API, penyerapan di-buffer secara otomatis dan tidak memerlukan konfigurasi tambahan.
  • Untuk metode penyerapan berbasis push, seperti penerusan, webhook, dan penyerapan API, konfigurasi sistem untuk otomatis mengirim ulang data saat batas lonjakan tercapai. Untuk sistem seperti Bindplane dan Cribl, siapkan buffering untuk menangani luapan data secara efisien.

• Sebelum mencapai batas lonjakan, Anda dapat menambahkannya.

• Untuk menentukan apakah Anda mendekati batas lonjakan, lihat Melihat penggunaan batas lonjakan.

Melihat penggunaan batas lonjakan

Anda dapat melihat penggunaan batas lonjakan menggunakan Google SecOps atau Cloud Monitoring.

Menggunakan dasbor Google SecOps untuk melihat batas lonjakan

Untuk melihat penggunaan batas, gunakan visualisasi berikut di dasbor Penyerapan dan Kesehatan Data Google SecOps:

• Grafik Batas Burst - Kecepatan Penyerapan: menampilkan kecepatan penyerapan.
• Grafik Batas Burst - Batas Kuota: menampilkan batas kuota.
• Grafik Penolakan Burst: menampilkan volume log yang ditolak karena melampaui batas burst.

Untuk melihat visualisasi, lakukan tindakan berikut:

1. Dari menu Google SecOps, pilih Dasbor.

2. Dari bagian Dasbor default, pilih Penyerapan dan Kondisi Data.

   Di dasbor Penyerapan dan Kesehatan Data, Anda dapat melihat visualisasi.

Menggunakan Cloud Monitoring untuk melihat batas lonjakan

Untuk melihat batas lonjakan Google SecOps di konsol Google Cloud , Anda memerlukan izin yang sama seperti untuk batas Google Cloud lainnya. Untuk mengetahui informasi selengkapnya, lihat Memberikan akses ke Cloud Monitoring.

Untuk mengetahui informasi tentang cara melihat metrik menggunakan diagram, lihat Membuat diagram dengan Metrics Explorer.

Untuk melihat penggunaan batas lonjakan, gunakan kueri PromQL berikut:

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))

Untuk melihat jumlah byte yang ditolak setelah melampaui batas burst, gunakan kueri PromQL berikut:

sum(rate(chronicle_googleapis_com:ingestion_log_quota_rejected_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[15m]))

Untuk membuat pemberitahuan saat byte yang di-ingest melebihi 70% dari batas burst, gunakan kueri PromQL berikut:

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/
min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m])) > 70

Mem-buffer data di sumber penyerapan

Tabel berikut menjelaskan konfigurasi yang diperlukan untuk melakukan buffering (bukan menghapus) data dari perusahaan Anda, bergantung pada sumber penyerapan data Anda.

Pemecahan masalah

Panduan berikut membantu Anda agar tidak melebihi batas burst:

• Buat pemberitahuan penyerapan yang memberi tahu Anda saat volume byte yang diserap melebihi nilai minimum batas lonjakan. Untuk mengetahui informasi selengkapnya tentang cara menyiapkan pemberitahuan penyerapan, lihat Menggunakan Cloud Monitoring untuk pemberitahuan penyerapan.

• Untuk mengidentifikasi sumber dan volume penyerapan, buat pemberitahuan pemantauan dengan collector_id, dan log_type bersama dengan metrik chronicle.googleapis.com/ingestion/log/bytes_count. Untuk mengidentifikasi sumber dan volume penyerapan, gunakan kueri PromQL berikut:

  sum by (collector_id,log_type)(rate(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[5m]))
  

• Jika Anda memperkirakan volume penyerapan akan meningkat lebih dari empat kali lipat volume penyerapan normal, hubungi Dukungan Teknis SecOps Google terlebih dahulu untuk meningkatkan batas lonjakan.

• Jika Anda menggunakan penerus Google SecOps untuk menyerap data, Anda dapat menggunakan buffer disk untuk menyimpan data dalam buffer saat Anda melampaui batas burst. Untuk mengetahui informasi selengkapnya, lihat Menggunakan buffer disk untuk penerusan.

Tabel berikut mencantumkan metode penyerapan dan tindakan terkait yang perlu Anda lakukan saat mencapai batas burst:

Menggunakan buffer disk untuk penerus

Jika Anda menggunakan penerus SIEM Google SecOps, sebaiknya mulai gunakan buffer disk untuk mem-buffer data saat Anda melampaui batas lonjakan. Ukuran RAM maksimum yang digunakan oleh pengumpul adalah 4 GB. Anda dapat menetapkan batas ini menggunakan setelan max_file_buffer_bytes dalam konfigurasi pengumpul. Untuk menyimpan data yang lebih besar dari 4 GB, gunakan buffer disk. Untuk menentukan ukuran buffer disk, identifikasi kecepatan penyerapan penerusan menggunakan kueri MQL berikut:

sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector", collector_id!~ "
(aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa
|bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb
|cccccccc-cccc-cccc-cccc-cccccccccccc
|dddddddd-dddd-dddd-dddd-dddddddddddd
|aaaa2222-aaaa-2222-aaaa-2222aaaa2222)"}[5m]))

Misalnya, jika kecepatan penyerapan dari penerus adalah 415 Kbps dan efisiensi kompresi buffer adalah 70%, maka kecepatan pengisian buffer dihitung sebagai 415 Kbps x (100% - 70%) = 124,5 Kbps. Dengan kecepatan ini, ukuran buffer 1 GB, yang merupakan nilai buffer dalam memori default, akan terisi dalam 2 jam 20 menit. Penghitungannya adalah 1024 x 1024 / 124,5 = 8422,297 detik = 2 jam 20 menit. Jika telah melampaui batas lonjakan, Anda memerlukan disk 100 GB untuk menyimpan data dalam buffer selama satu hari.

Pertanyaan umum (FAQ)

Error apa yang dipicu saat Anda melampaui batas burst?

Jika melebihi batas burst, Anda akan mendapatkan error HTTP 429.

Bagaimana cara mengatasi error HTTP 429?

Coba lagi permintaan setelah lima menit.

Seberapa sering batas burst diperbarui?

Batas burst diperbarui setelah setiap lima menit.