Burst-Limits

In diesem Dokument werden die Burst-Limits beschrieben, die für Google Security Operations-Ressourcen gelten, insbesondere für das Datenvolumen, das von einem einzelnen Kunden in Google SecOps aufgenommen werden kann. Burst-Limits beschränken die Nutzung von Ressourcen, die von allen Kunden gemeinsam genutzt werden:

• Obergrenze für die Menge der Daten, die von einem einzelnen Kunden aufgenommen werden können. So wird sichergestellt, dass ein plötzlicher Datenzufluss von einem einzelnen Kunden keine Auswirkungen auf andere hat.
• Überwacht die Nutzung freigegebener Ressourcen für jeden Kunden.
• Konfigurationen verwalten, die automatisch die Burst-Limits erzwingen.
• Eine Möglichkeit bieten, Änderungen an den Burst-Limits anzufordern oder vorzunehmen.

Für den Überspannungsschutz wird das Burst-Limit über Zeiträume von 5 Minuten gemessen. Es handelt sich nicht um ein tägliches Aufnahmelimit.

Erhöhung des Burst-Limits pro Kunde

Wenn Sie die Aufnahmerate schnell erhöhen möchten, können wir Ihnen bei der Planung helfen und dafür sorgen, dass die Datenaufnahme stabil bleibt. Wenn Sie eine Erhöhung Ihres Burst-Limits anfordern möchten, wenden Sie sich bitte im Voraus an den technischen Support von Google SecOps.

Übersicht über Burst-Limits

Burst-Limits beschränken die Datenmenge, die ein Kunde an Google SecOps senden kann. So wird für Fairness gesorgt und verhindert, dass andere Kunden durch Ingestionsspitzen eines einzelnen Kunden beeinträchtigt werden. Durch Burst-Limits wird sichergestellt, dass die Aufnahme von Kundendaten reibungslos funktioniert. Sie können proaktiv über ein Supportticket angepasst werden. Für die Anwendung von Burst-Limits verwendet Google SecOps die folgenden Klassifizierungen basierend auf dem Erfassungsvolumen:

Für Burst-Limits gelten die folgenden Richtlinien:

• Wenn Ihr Burst-Limit erreicht ist, sollten richtig konfigurierte Erfassungsquellen so eingestellt sein, dass die zusätzlichen Daten gepuffert werden. Sie dürfen nicht so konfiguriert sein, dass die Daten verworfen werden.

  • Bei Pull-basierten Aufnahmen wie Google Cloud und API-Feeds wird die Aufnahme automatisch gepuffert und es ist keine zusätzliche Konfiguration erforderlich.
  • Bei Push-basierten Erfassungsmethoden wie Forwardern, Webhooks und API-Erfassung müssen Sie die Systeme so konfigurieren, dass Daten automatisch noch einmal gesendet werden, wenn das Burst-Limit erreicht ist. Für Systeme wie Bindplane und Cribl sollten Sie Pufferung einrichten, um Datenüberlauf effizient zu verarbeiten.

• Bevor Sie das Burst-Limit erreichen, können Sie es erhöhen.

• Informationen dazu, ob Sie sich Ihrem Burst-Limit nähern, finden Sie unter Burst-Limit-Nutzung ansehen.

Nutzung des Burst-Limits ansehen

Sie können die Nutzung Ihres Burst-Limits mit Google SecOps oder Cloud Monitoring ansehen.

Burst-Limits im Google SecOps-Dashboard ansehen

So sehen Sie die Nutzung des Limits:

• Burst Limit Graph – Ingestion Rate (Diagramm für Burst-Limit – Aufnahmerate): Hier wird die Aufnahmerate angezeigt.
• Diagramm für das Burst-Limit – Kontingentlimit: Hier wird das Kontingentlimit angezeigt.
• Diagramm zu Ablehnung von Bursts: Hier wird das Volumen der Logs angezeigt, die aufgrund einer Überschreitung des Burst-Limits abgelehnt wurden.

So rufen Sie die Visualisierungen auf:

1. Wählen Sie im Google SecOps-Menü Dashboards aus.

2. Wählen Sie im Bereich Standard-Dashboards die Option Data Ingestion and Health (Datenaufnahme und ‑integrität) aus.

   Im Dashboard Data Ingestion and Health (Datenaufnahme und ‑integrität) können Sie sich die Visualisierungen ansehen.

Cloud Monitoring verwenden, um Burst-Limits anzusehen

Wenn Sie Google SecOps-Burst-Limits in der Google Cloud Console ansehen möchten, benötigen Sie die gleichen Berechtigungen wie für jedes Google Cloud Limit. Weitere Informationen finden Sie unter Zugriff auf Cloud Monitoring gewähren.

Informationen zum Ansehen von Messwerten in Diagrammen finden Sie unter Diagramme mit dem Metrics Explorer erstellen.

Verwenden Sie die folgende PromQL-Abfrage, um die Nutzung des Burst-Limits aufzurufen:

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))

Verwenden Sie die folgende PromQL-Abfrage, um die Anzahl der Byte aufzurufen, die nach Überschreiten des Burst-Limits abgelehnt wurden:

sum(rate(chronicle_googleapis_com:ingestion_log_quota_rejected_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[15m]))

Verwenden Sie die folgende PromQL-Abfrage, um eine Benachrichtigung zu erstellen, wenn die aufgenommenen Byte 70% des Burst-Limits überschreiten:

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/
min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m])) > 70

Daten an der Aufnahmequelle puffern

In der folgenden Tabelle wird die Konfiguration beschrieben, die erforderlich ist, um Daten aus Ihrem Unternehmen je nach Erfassungsquelle zu puffern (anstatt sie zu verwerfen).

Fehlerbehebung

Strategien zur Vermeidung von Überschreitungen

Die folgenden Richtlinien helfen Ihnen, das Burst-Limit nicht zu überschreiten:

• Erstellen Sie eine Aufnahmebenachrichtigung, die Sie benachrichtigt, wenn das Volumen der aufgenommenen Byte den Grenzwert für das Burst-Limit überschreitet. Weitere Informationen zum Einrichten von Benachrichtigungen für die Aufnahme finden Sie unter Cloud Monitoring für Aufnahmebenachrichtigungen verwenden.

• Erstellen Sie eine Monitoring-Benachrichtigung mit collector_id und log_type sowie dem Messwert chronicle.googleapis.com/ingestion/log/bytes_count, um die Aufnahmequellen und das Aufnahmevolumen zu ermitteln. Mit der folgenden PromQL-Abfrage können Sie die Aufnahmequellen und das ‑volumen ermitteln:

  sum by (collector_id,log_type)(rate(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[5m]))
  

• Wenn Sie erwarten, dass sich Ihr Aufnahmevolumen um mehr als das Vierfache Ihres normalen Aufnahmevolumens erhöht, wenden Sie sich rechtzeitig an den technischen Support von Google SecOps, um Ihr Burst-Limit zu erhöhen.

• Wenn Sie einen Google SecOps-Forwarder zum Erfassen von Daten verwenden, können Sie Festplattenpuffer verwenden, um Daten zu puffern, wenn Sie Ihr Burst-Limit überschreiten. Weitere Informationen finden Sie unter Laufwerkspuffer für Forwarder verwenden.

Ereignisse für das Burst-Limit verarbeiten

Wenn Sie das Burst-Limit erreichen, führen Sie die folgenden Aktionen für Ihre Aufnahmemethode aus:

Festplattenpuffer für Forwarder verwenden

Wenn Sie den Google SecOps SIEM-Forwarder verwenden, empfehlen wir, Festplattenpuffer zu verwenden, um Daten zu puffern, wenn Sie Ihr Burst-Limit überschreiten. Die maximale RAM-Größe, die vom Collector verwendet wird, beträgt 4 GB. Sie können dieses Limit mit der Einstellung max_file_buffer_bytes in der Collector-Konfiguration festlegen. Verwenden Sie Festplattenpuffer, um Daten zu puffern, die größer als 4 GB sind. Um die Größe des Festplattenpuffers zu bestimmen, ermitteln Sie die Aufnahmerate der Forwarder mit der folgenden MQL-Abfrage:

sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector", collector_id!~ "
(aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa
|bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb
|cccccccc-cccc-cccc-cccc-cccccccccccc
|dddddddd-dddd-dddd-dddd-dddddddddddd
|aaaa2222-aaaa-2222-aaaa-2222aaaa2222)"}[5m]))

Wenn die Aufnahmerate des Forwarders beispielsweise 415 kbit/s und die Pufferkomprimierungseffizienz 70 % beträgt, wird die Pufferfüllrate so berechnet: 415 kbit/s × (100 % – 70%) = 124,5 kbit/s. Bei dieser Rate füllt sich ein Puffer mit einer Größe von 1 GB, dem Standardwert für den In-Memory-Puffer, in 2 Stunden und 20 Minuten. Die Berechnung lautet: 1024 × 1024 / 124,5 = 8422,297 Sekunden = 2 Stunden und 20 Minuten. Wenn Sie Ihr Burst-Limit überschritten haben, benötigen Sie eine 100-GB-Festplatte, um Daten für einen Tag zu puffern.

Häufig gestellte Fragen

Welcher Fehler wird ausgelöst, wenn Sie das Burst-Limit überschreiten?

Wenn Sie das Burst-Limit überschreiten, erhalten Sie den HTTP-Fehler 429.

Wie behebe ich den HTTP-Fehler 429?

Wiederholen Sie die Anfrage nach fünf Minuten.

Wie oft werden die Burst-Limits aktualisiert?

Burst-Limits werden alle fünf Minuten aktualisiert.