バースト上限

このドキュメントでは、Google Security Operations リソースに適用されるバースト上限、特に単一のお客様が Google SecOps に取り込むことができるデータの量について説明します。バースト上限は、すべてのお客様が共有するリソースの使用を制限します。

• 単一のお客様が使用できるデータの取り込み量の上限。これにより、単一のお客様からのデータの急増が他のお客様に影響しないようにします。
• 各お客様の共有リソースの使用状況をモニタリングする。
• バースト上限を自動的に適用する構成を維持する。
• バースト上限をリクエストまたは変更する手段を提供する。

サージ保護の場合、バースト上限は 5 分間の期間で測定されます。それは 1 日あたりの取り込み上限ではありません。

お客様あたりのバースト上限の引き上げ

取り込みレートを急速に増やす場合は、事前に計画してデータの取り込みを安定させることができます。バースト上限の引き上げをリクエストするには、事前に Google SecOps テクニカル サポートにお問い合わせください。

バースト上限の概要

バースト上限は、1 人のお客様が Google SecOps に送信できるデータ量を制限します。これにより、公平性が確保され、単一のお客様からの取り込みの急増による他のお客様への影響が防止できます。バースト上限により、顧客データの取り込みがスムーズに行われるようになり、サポート チケットを使用して積極的に調整できます。バースト上限を適用するために、Google SecOps は取り込み量に基づいて次の分類を使用します。

バースト上限には次のガイドラインが適用されます。

• バースト上限に達した場合、適切に構成された取り込みソースが追加データをバッファするように設定する必要があります。データをドロップするように構成しないでください。

  • Google Cloud や API フィードなどのプルベースの取り込みの場合、取り込みは自動的にバッファリングされるため、追加の構成は必要ありません。
  • フォワーダー、Webhook、API 取り込みなどのプッシュベースの取り込み方法では、バースト上限に達したときにデータを自動的に再送信するようにシステムを構成します。Bindplane や Cribl などのシステムでは、バッファリングを設定して、データ オーバーフローを効率的に処理します。

• バースト上限に達する前に、それを引き上げることができます。

• バースト上限に近づいているかどうかを確認するには、バースト上限の使用状況を表示するをご覧ください。

バースト上限の使用状況を表示する

バースト上限の使用量は、Google SecOps または Cloud Monitoring を使用して確認できます。

Google SecOps ダッシュボードを使用してバースト上限を表示する

上限の使用状況を表示するには、Google SecOps の [データの取り込みと正常性] ダッシュボードで次の可視化を使用します。

• バースト上限グラフ - 取り込み率: 取り込み率が表示されます。
• バースト上限グラフ - 割り当て上限: 割り当て上限が表示されます。
• Burst Rejection Graph: バースト上限を超えたために拒否されたログの量が表示されます。

可視化を表示する手順は次のとおりです。

1. Google SecOps メニューで [Dashboards] を選択します。

2. [デフォルトのダッシュボード] セクションで、[データの取り込みと正常性] を選択します。

   [データの取り込みと健全性] ダッシュボードで、可視化を確認できます。

Cloud Monitoring を使用してバースト上限を表示する

Google Cloud コンソールで Google SecOps バースト上限を表示するには、 Google Cloud 上限と同じ権限が必要です。詳細については、Cloud Monitoring へのアクセス権を付与するをご覧ください。

グラフを使用して指標を表示する方法については、Metrics Explorer でグラフを作成するをご覧ください。

バースト上限の使用状況を表示するには、次の PromQL クエリを使用します。

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))

バースト上限を超えた後に拒否されたバイト数を表示するには、次の PromQL クエリを使用します。

sum(rate(chronicle_googleapis_com:ingestion_log_quota_rejected_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[15m]))

取り込まれたバイト数がバースト上限の 70% を超えたときにアラートを作成するには、次の PromQL クエリを使用します。

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/
min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m])) > 70

取り込みソースでデータをバッファリングする

次の表に、取り込み元に応じてエンタープライズからのデータをバッファリング（ドロップではなく）するために必要な構成を示します。

トラブルシューティング

上限を超えないようにするための戦略

バースト上限を超えないようにするには、次のガイドラインが役立ちます。

• 取り込まれたバイト数がバースト上限のしきい値を超えたときに通知する取り込みアラートを作成します。取り込みアラートの設定の詳細については、Cloud Monitoring を使用して取り込み通知を行うをご覧ください。

• 取り込み元と取り込み量を特定するには、指標 chronicle.googleapis.com/ingestion/log/bytes_count とともに collector_id と log_type を使用してモニタリング アラートを作成します。取り込み元とボリュームを特定するには、次の PromQL クエリを使用します。

  sum by (collector_id,log_type)(rate(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[5m]))
  

• 取り込み量が通常の 4 倍を超えることが予想される場合は、事前に Google SecOps テクニカル サポートにお問い合わせのうえ、バースト上限を引き上げてください。

• Google SecOps フォワーダーを使用してデータを取り込む場合は、バースト上限を超えたときにディスク バッファを使用してデータをバッファリングできます。詳細については、フォワーダーにディスク バッファを使用するをご覧ください。

バースト制限イベントを処理する

バースト上限に達した場合は、取り込み方法に応じて次の操作を行います。

フォワーダーにディスク バッファを使用する

Google SecOps SIEM フォワーダーを使用している場合は、バースト上限を超えたときにディスク バッファを使用してデータをバッファリングすることをおすすめします。コレクタが使用する最大 RAM サイズは 4 GB です。この上限は、コレクタ構成の max_file_buffer_bytes 設定を使用して設定できます。4 GB を超えるデータをバッファリングするには、ディスク バッファを使用します。ディスク バッファのサイズを決定するには、次の MQL クエリを使用して、フォワーダーが取り込むレートを特定します。

sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector", collector_id!~ "
(aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa
|bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb
|cccccccc-cccc-cccc-cccc-cccccccccccc
|dddddddd-dddd-dddd-dddd-dddddddddddd
|aaaa2222-aaaa-2222-aaaa-2222aaaa2222)"}[5m]))

たとえば、フォワーダーからの取り込みレートが 415 Kbps で、バッファ圧縮効率が 70% の場合、バッファの充填率は 415 Kbps x（100% - 70%）= 124.5 Kbps と計算されます。この速度では、デフォルトのインメモリ バッファ値である 1 GB のバッファサイズは 2 時間 20 分で一杯になります。計算式は 1,024 × 1,024 ÷ 124.5 = 8,422.297 秒 = 2 時間 20 分となります。バースト上限を超えた場合は、1 日分のデータをバッファリングするために 100 GB のディスクが必要です。

よくある質問

バースト上限を超えると、どのようなエラーがトリガーされますか？

バースト上限を超えると、HTTP 429 エラーが発生します。

HTTP 429 エラーを解消するにはどうすればよいですか？

5 分後にリクエストを再試行してください。

バースト上限はどのくらいの頻度で更新されますか？

バースト上限は 5 分ごとにリセットされます。