Limites de rafale

Ce document décrit les limites de pics qui s'appliquent aux ressources Google Security Operations, en particulier au volume de données qu'un même client peut ingérer dans Google SecOps. Les limites de pics restreignent l'utilisation des ressources partagées par tous les clients :

• Limite supérieure de la quantité de données ingérées pouvant être utilisée par un seul client. Cela permet de s'assurer qu'un afflux soudain de données provenant d'un seul client n'a pas d'incidence sur les autres.
• Surveille l'utilisation des ressources partagées pour chaque client.
• Gère des configurations qui appliquent automatiquement les limites de rafale.
• Fournit un moyen de demander ou d'effectuer des modifications des limites de rafale.

Pour la protection contre les pics, la limite de rafale est mesurée sur des périodes de cinq minutes. Il ne s'agit pas d'une limite d'ingestion quotidienne.

Augmentation de la limite de rafale par client

Si vous prévoyez d'augmenter rapidement votre taux d'ingestion, nous pouvons vous aider à planifier cette opération et à vous assurer que l'ingestion de vos données reste stable. Pour demander une augmentation de votre limite de pics, contactez l'assistance technique Google SecOps à l'avance.

Présentation des limites de rafale

Les limites de pics restreignent la quantité de données qu'un client peut envoyer à Google SecOps. Cela garantit l'équité et évite que les pics d'ingestion d'un client unique n'aient un impact sur les autres clients. Les limites de rafale garantissent que l'ingestion des données client fonctionne correctement et peuvent être ajustées de manière proactive à l'aide d'une demande d'assistance. Pour appliquer des limites de rafale, Google SecOps utilise les classifications suivantes en fonction du volume d'ingestion :

Les consignes suivantes s'appliquent aux limites de pics :

• Lorsque votre limite de pics est atteinte, les sources d'ingestion correctement configurées doivent être définies sur buffer pour les données supplémentaires. Ils ne doivent pas être configurés pour supprimer les données.

  • Pour l'ingestion basée sur l'extraction, comme les flux Google Cloud et d'API, l'ingestion est mise en mémoire tampon automatiquement et ne nécessite aucune configuration supplémentaire.
  • Pour les méthodes d'ingestion de type Push, telles que les transmetteurs, les Webhooks et l'ingestion d'API, configurez les systèmes pour qu'ils renvoient automatiquement les données lorsque la limite de pics est atteinte. Pour les systèmes tels que Bindplane et Cribl, configurez la mise en mémoire tampon pour gérer efficacement le trop-plein de données.

• Avant d'atteindre votre limite de rafale, vous pouvez l'augmenter.

• Pour déterminer si vous êtes proche de votre limite de pics, consultez Afficher l'utilisation de la limite de pics.

Afficher l'utilisation de la limite de rafale

Vous pouvez consulter votre utilisation de la limite de pics à l'aide de Google SecOps ou de Cloud Monitoring.

Utiliser le tableau de bord Google SecOps pour afficher vos limites de pics

Pour consulter l'utilisation des limites, utilisez les visualisations suivantes dans le tableau de bord Ingestion et état des données de Google SecOps :

• Graphique "Limite de pics – Taux d'ingestion" : affiche le taux d'ingestion.
• Graphique de la limite de pics : limite de quota : affiche la limite de quota.
• Graphique des refus de pics : affiche le volume des journaux qui ont été refusés, car ils dépassaient la limite de pics.

Pour afficher les visualisations, procédez comme suit :

1. Dans le menu Google SecOps, sélectionnez Tableaux de bord.

2. Dans la section Tableaux de bord par défaut, sélectionnez Ingestion et état des données.

   Dans le tableau de bord Ingestion et état des données, vous pouvez afficher les visualisations.

Utiliser Cloud Monitoring pour afficher les limites de rafale

Pour afficher les limites de pics Google SecOps dans la console Google Cloud , vous avez besoin des mêmes autorisations que pour toute limite Google Cloud . Pour en savoir plus, consultez Accorder l'accès à Cloud Monitoring.

Pour savoir comment afficher les métriques à l'aide de graphiques, consultez Créer des graphiques avec l'explorateur de métriques.

Pour afficher votre utilisation de la limite de pics, utilisez la requête PromQL suivante :

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))

Pour afficher le nombre d'octets rejetés après avoir dépassé la limite de rafale, utilisez la requête PromQL suivante :

sum(rate(chronicle_googleapis_com:ingestion_log_quota_rejected_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[15m]))

Pour créer une alerte lorsque les octets ingérés dépassent 70 % de la limite de rafale, utilisez la requête PromQL suivante :

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/
min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m])) > 70

Mettre en mémoire tampon les données au niveau de la source d'ingestion

Le tableau suivant décrit la configuration nécessaire pour mettre en mémoire tampon (plutôt que supprimer) les données de votre entreprise en fonction de votre source d'ingestion.

Dépannage

Stratégies pour éviter de dépasser les limites

Les consignes suivantes vous aideront à ne pas dépasser votre limite de pics :

• Créez une alerte d'ingestion qui vous avertit lorsque le volume d'octets ingérés dépasse le seuil de limite de rafale. Pour en savoir plus sur la configuration des alertes d'ingestion, consultez Utiliser Cloud Monitoring pour les notifications d'ingestion.

• Pour identifier les sources et le volume d'ingestion, créez une alerte de surveillance avec collector_id et log_type, ainsi que la métrique chronicle.googleapis.com/ingestion/log/bytes_count. Pour identifier les sources et le volume d'ingestion, utilisez la requête PromQL suivante :

  sum by (collector_id,log_type)(rate(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[5m]))
  

• Si vous prévoyez que votre volume d'ingestion sera plus de quatre fois supérieur à votre volume d'ingestion habituel, contactez l'assistance technique Google SecOps à l'avance pour augmenter votre limite de pics.

• Si vous utilisez un transmetteur Google SecOps pour ingérer des données, vous pouvez utiliser des tampons de disque pour mettre en mémoire tampon les données lorsque vous dépassez votre limite de rafale. Pour en savoir plus, consultez Utiliser des tampons de disque pour les répartiteurs.

Gérer les événements de limite de rafale

Si vous atteignez la limite de rafale, effectuez les actions suivantes pour votre méthode d'ingestion :

Utiliser des tampons de disque pour les répartiteurs

Si vous utilisez le transmetteur Google SecOps SIEM, nous vous recommandons de commencer à utiliser des tampons de disque pour mettre en mémoire tampon les données lorsque vous dépassez votre limite de rafale. La taille maximale de la RAM utilisée par le collecteur est de 4 Go. Vous pouvez définir cette limite à l'aide du paramètre max_file_buffer_bytes dans la configuration du collecteur. Pour mettre en mémoire tampon des données de plus de 4 Go, utilisez des mémoires tampon de disque. Pour déterminer la taille de la mémoire tampon du disque, identifiez le taux d'ingestion des forwarders à l'aide de la requête MQL suivante :

sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector", collector_id!~ "
(aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa
|bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb
|cccccccc-cccc-cccc-cccc-cccccccccccc
|dddddddd-dddd-dddd-dddd-dddddddddddd
|aaaa2222-aaaa-2222-aaaa-2222aaaa2222)"}[5m]))

Par exemple, si le taux d'ingestion de l'expéditeur est de 415 kbit/s et que l'efficacité de compression du tampon est de 70 %, le taux de remplissage du tampon est calculé comme suit : 415 kbit/s x (100 % - 70 %) = 124,5 kbit/s. À ce rythme, une taille de mémoire tampon de 1 Go, qui est la valeur par défaut de la mémoire tampon en mémoire, se remplit en 2 heures et 20 minutes. Le calcul est le suivant : 1 024 x 1 024 / 124,5 = 8 422,297 secondes = 2 heures et 20 minutes. Si vous avez dépassé votre limite de rafale, vous avez besoin d'un disque de 100 Go pour mettre en mémoire tampon les données pendant une journée.

Questions fréquentes

Quelle erreur est déclenchée lorsque vous dépassez la limite de rafale ?

Lorsque vous dépassez la limite de rafale, vous obtenez l'erreur HTTP 429.

Comment résoudre l'erreur HTTP 429 ?

Réessayez d'envoyer la requête dans cinq minutes.

À quelle fréquence les limites de rafale sont-elles actualisées ?

Les limites d'utilisation intensive sont actualisées toutes les cinq minutes.