Limites de burst

Este documento descreve os limites de burst que se aplicam aos recursos do Google Security Operations, especificamente o volume de dados que pode ser ingerido no Google SecOps por um único cliente. Os limites de burst restringem o uso de recursos compartilhados por todos os clientes:

• Limite máximo da quantidade de ingestão de dados que pode ser usada por um único cliente. Isso garante que um fluxo repentino de dados de um único cliente não afete outros.
• Monitora o uso de recursos compartilhados para cada cliente.
• mantém as configurações que aplicam automaticamente os limites de burst;
• Fornece um meio de solicitar ou fazer mudanças nos limites de burst.

Para proteção contra picos, o limite de burst é medido em períodos de cinco minutos. Não é um limite diário de ingestão.

Aumento do limite de burst por cliente

Se você pretende aumentar rapidamente a taxa de ingestão, podemos ajudar a planejar com antecedência e garantir que a ingestão de dados permaneça estável. Para solicitar um aumento no limite de burst, entre em contato com o suporte técnico do Google SecOps com antecedência.

Visão geral dos limites de burst

Os limites de burst restringem a quantidade de dados que um cliente pode enviar para o Google SecOps. Isso garante a justiça e evita impactos em outros clientes devido a picos de ingestão de um único cliente. Os limites de burst garantem que a ingestão de dados do cliente funcione sem problemas e podem ser ajustados de forma proativa usando um tíquete de suporte. Para aplicar limites de burst, o Google SecOps usa as seguintes classificações com base no volume de ingestão:

As seguintes diretrizes se aplicam aos limites de burst:

• Quando o limite de burst é atingido, as fontes de ingestão configuradas corretamente são definidas como buffer dos dados adicionais. Eles não devem ser configurados para descartar os dados.

  • Para ingestão baseada em pull, como Google Cloud e feeds de API, a ingestão é armazenada em buffer automaticamente e não requer configuração adicional.
  • Para métodos de ingestão baseados em push, como encaminhadores, webhooks e ingestão de API, configure os sistemas para reenviar dados automaticamente quando o limite de burst for atingido. Para sistemas como Bindplane e Cribl, configure o buffer para processar o estouro de dados com eficiência.

• Antes de atingir o limite de burst, você pode aumentá-lo.

• Para determinar se você está perto do limite de burst, consulte Ver uso do limite de burst.

Ver o uso do limite de burst

É possível conferir o uso do limite de burst usando o Google SecOps ou o Cloud Monitoring.

Usar o painel do Google SecOps para conferir seus limites de burst

Para conferir o uso do limite, use as seguintes visualizações no painel Ingestão e integridade de dados do Google SecOps:

• Gráfico de limite de burst: taxa de ingestão: mostra a taxa de ingestão.
• Gráfico de limite de burst: limite de cota: mostra o limite de cota.
• Gráfico de rejeição de burst: mostra o volume de registros que foram rejeitados por exceder o limite de burst.

Para ver as visualizações, faça o seguinte:

1. No menu do Google SecOps, selecione Painéis.

2. Na seção Painéis padrão, selecione Ingestão de dados e integridade.

   No painel Ingestão de dados e integridade, é possível conferir as visualizações.

Usar o Cloud Monitoring para ver os limites de burst

Para conferir os limites de burst do Google SecOps no console Google Cloud , você precisa das mesmas permissões que qualquer limite Google Cloud . Para mais informações, consulte Conceder acesso ao Cloud Monitoring.

Para saber como ver métricas usando gráficos, consulte Criar gráficos com o Metrics Explorer.

Para conferir o uso do limite de burst, use esta consulta do PromQL:

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))

Para ver o número de bytes rejeitados após exceder o limite de burst, use a seguinte consulta do PromQL:

sum(rate(chronicle_googleapis_com:ingestion_log_quota_rejected_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[15m]))

Para criar um alerta quando os bytes ingeridos excederem 70% do limite de burst, use a seguinte consulta PromQL:

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/
min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m])) > 70

Dados de buffer na origem da ingestão

A tabela a seguir descreve a configuração necessária para armazenar em buffer (em vez de descartar) os dados da sua empresa, dependendo da origem da ingestão.

Solução de problemas

As diretrizes a seguir ajudam a evitar exceder o limite de burst:

• Crie um alerta de ingestão que notifique quando o volume de bytes ingeridos exceder o limite de taxa de transferência máxima. Para mais informações sobre como configurar alertas de ingestão, consulte Usar o Cloud Monitoring para notificações de ingestão.

• Para identificar as fontes e o volume de ingestão, crie um alerta de monitoramento com collector_id e log_type, além da métrica chronicle.googleapis.com/ingestion/log/bytes_count. Para identificar as fontes e o volume de ingestão, use a seguinte consulta em PromQL:

  sum by (collector_id,log_type)(rate(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[5m]))
  

• Se você espera que o volume de ingestão aumente mais de quatro vezes o volume normal, entre em contato com o suporte técnico do Google SecOps com antecedência para aumentar o limite de burst.

• Se você usa um encaminhador do Google SecOps para ingerir dados, pode usar buffers de disco para armazenar dados em buffer quando exceder o limite de burst. Para mais informações, consulte Como usar buffers de disco para encaminhadores.

A tabela a seguir lista os métodos de ingestão e a ação correspondente que você precisa realizar quando atinge o limite de burst:

Como usar buffers de disco para encaminhadores

Se você usa o encaminhador de SIEM do Google SecOps, recomendamos começar a usar buffers de disco para armazenar dados em buffer quando você exceder o limite de burst. O tamanho máximo de RAM usado pelo coletor é de 4 GB. É possível definir esse limite usando a configuração max_file_buffer_bytes na configuração do coletor. Para armazenar em buffer dados com mais de 4 GB, use buffers de disco. Para decidir o tamanho do buffer de disco, identifique a taxa de ingestão dos encaminhadores usando esta consulta MQL:

sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector", collector_id!~ "
(aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa
|bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb
|cccccccc-cccc-cccc-cccc-cccccccccccc
|dddddddd-dddd-dddd-dddd-dddddddddddd
|aaaa2222-aaaa-2222-aaaa-2222aaaa2222)"}[5m]))

Por exemplo, se a taxa de ingestão do encaminhador for de 415 Kbps e a eficiência de compactação do buffer for de 70%, a taxa de preenchimento do buffer será calculada como 415 Kbps x (100% - 70%) = 124,5 Kbps. Nessa taxa, um tamanho de buffer de 1 GB, que é o valor padrão do buffer na memória, é preenchido em 2 horas e 20 minutos. O cálculo é 1024 x 1024 / 124,5 = 8422,297 segundos = 2 horas e 20 minutos. Se você excedeu o limite de burst, precisará de um disco de 100 GB para armazenar dados em buffer por um dia.

Perguntas frequentes

Qual erro é acionado quando você excede o limite de burst?

Quando você excede o limite de burst, recebe o erro HTTP 429.

Como resolver o erro HTTP 429?

Tente fazer a solicitação novamente após cinco minutos.

Com que frequência os limites de burst são atualizados?

Os limites de burst são atualizados a cada cinco minutos.