Limites de picos

Este documento descreve os limites de picos que se aplicam aos recursos do Google Security Operations, especificamente o volume de dados que um único cliente pode carregar para o Google SecOps. Os limites de picos restringem a utilização de recursos partilhados por todos os clientes:

• Limite superior da quantidade de carregamento de dados que pode ser usada por um único cliente. Isto garante que um afluxo repentino de dados de um único cliente não afeta os outros.
• Monitoriza a utilização de recursos partilhados para cada cliente.
• Mantém as configurações que aplicam automaticamente os limites de picos.
• Oferece um meio de pedir ou fazer alterações aos limites de picos.

Para a proteção contra picos de consumo, o limite de rajada é medido durante períodos de 5 minutos. Não é um limite de carregamento diário.

Aumento do limite de rajada por cliente

Se pretender aumentar rapidamente a taxa de carregamento, podemos ajudar a planear antecipadamente e garantir que o carregamento de dados permanece estável. Para pedir um aumento do limite de picos, contacte o apoio técnico da Google SecOps antecipadamente.

Vista geral dos limites de picos

Os limites de picos restringem a quantidade de dados que um cliente pode enviar para o Google SecOps. Isto garante a equidade e evita impactos noutros clientes devido a picos de carregamento de um único cliente. Os limites de picos de tráfego garantem que o carregamento de dados de clientes funciona sem problemas e podem ser ajustados proativamente através de um pedido de apoio técnico. Para aplicar limites de picos, o Google SecOps usa as seguintes classificações com base no volume de carregamento:

As seguintes diretrizes aplicam-se aos limites de picos:

• Quando o limite de picos é atingido, as origens de carregamento configuradas corretamente devem ser definidas para armazenar em buffer os dados adicionais. Não devem ser configurados para rejeitar os dados.

  • Para o carregamento baseado em obtenção, como Google Cloud e feeds de API, o carregamento é armazenado em buffer automaticamente e não requer configuração adicional.
  • Para métodos de carregamento baseados em push, como encaminhadores, webhooks e carregamento de API, configure os sistemas para reenviar automaticamente os dados quando o limite de picos for atingido. Para sistemas como o Bindplane e o Cribl, configure o armazenamento em buffer para processar o excesso de dados de forma eficiente.

• Antes de atingir o limite de picos, pode aumentá-lo.

• Para determinar se está perto do limite de picos, consulte o artigo Veja a utilização do limite de picos.

Veja a utilização do limite de rajada

Pode ver a sua utilização do limite de picos através do Google SecOps ou do Cloud Monitoring.

Use o painel de controlo do Google SecOps para ver os seus limites de picos

Para ver a utilização do limite, use as seguintes visualizações no painel de controlo de Ingestão e estado de funcionamento de dados do Google SecOps:

• Gráfico de limite de picos – Taxa de carregamento: apresenta a taxa de carregamento.
• Gráfico de limite de picos – Limite de quota: apresenta o limite de quota.
• Gráfico de rejeição de picos: apresenta o volume de registos que foram rejeitados por excederem o limite de picos.

Para ver as visualizações, faça o seguinte:

1. No menu do Google SecOps, selecione Painéis de controlo.

2. Na secção Painéis de controlo predefinidos, selecione Carregamento e estado dos dados.

   No painel de controlo Carregamento de dados e estado, pode ver as visualizações.

Use o Cloud Monitoring para ver os limites de picos

Para ver os limites de picos do Google SecOps na Google Cloud consola, precisa das mesmas autorizações que para qualquer Google Cloud limite. Para mais informações, consulte o artigo Conceda acesso ao Cloud Monitoring.

Para ver informações sobre como ver métricas através de gráficos, consulte o artigo Crie gráficos com o explorador de métricas.

Para ver a utilização do limite de picos, use a seguinte consulta PromQL:

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))

Para ver o número de bytes que foram rejeitados após excederem o limite de burst, use a seguinte consulta PromQL:

sum(rate(chronicle_googleapis_com:ingestion_log_quota_rejected_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[15m]))

Para criar um alerta quando os bytes carregados excederem 70% do limite de picos, use a seguinte consulta PromQL:

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/
min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m])) > 70

Coloque os dados em buffer na origem do carregamento

A tabela seguinte descreve a configuração necessária para colocar em buffer (em vez de rejeitar) os dados da sua empresa, consoante a origem do carregamento.

Resolução de problemas

As diretrizes seguintes ajudam a evitar exceder o limite de picos:

• Crie um alerta de carregamento que lhe envia uma notificação quando o volume de bytes carregados excede o limite máximo de transferência. Para mais informações sobre a configuração de alertas de carregamento, consulte o artigo Usar o Cloud Monitoring para notificações de carregamento.

• Para identificar as origens e o volume de carregamento, crie um alerta de monitorização com collector_id, log_type e a métrica chronicle.googleapis.com/ingestion/log/bytes_count. Para identificar as origens e o volume do carregamento, use a seguinte consulta PromQL:

  sum by (collector_id,log_type)(rate(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[5m]))
  

• Se prevê que o volume de carregamento aumente mais de quatro vezes o volume de carregamento normal, contacte o apoio técnico da Google SecOps com antecedência para aumentar o limite de picos.

• Se usar um encaminhador do Google SecOps para carregar dados, pode usar buffers de disco para armazenar dados em buffer quando excede o limite de picos. Para mais informações, consulte o artigo Usar buffers de disco para encaminhadores.

A tabela seguinte lista os métodos de carregamento e a ação correspondente que tem de realizar quando atinge o limite de picos:

Usar buffers de disco para encaminhadores

Se usar o encaminhador do SIEM do Google SecOps, recomendamos que comece a usar buffers de disco para armazenar dados em buffer quando exceder o limite de picos. O tamanho máximo da RAM usado pelo coletor é de 4 GB. Pode definir este limite através da definição max_file_buffer_bytes na configuração do coletor. Para armazenar em buffer dados com mais de 4 GB, use buffers de disco. Para decidir o tamanho do buffer do disco, identifique a taxa à qual os encaminhadores estão a carregar através da seguinte consulta MQL:

sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector", collector_id!~ "
(aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa
|bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb
|cccccccc-cccc-cccc-cccc-cccccccccccc
|dddddddd-dddd-dddd-dddd-dddddddddddd
|aaaa2222-aaaa-2222-aaaa-2222aaaa2222)"}[5m]))

Por exemplo, se a taxa de carregamento do encaminhador for de 415 Kbps e a eficiência de compressão do buffer for de 70%, a taxa de preenchimento do buffer é calculada como 415 Kbps x (100% - 70%) = 124,5 Kbps. A esta taxa, um tamanho da memória intermédia de 1 GB, que é o valor predefinido da memória intermédia na memória, enche-se em 2 horas e 20 minutos. O cálculo é 1024 x 1024 / 124,5 = 8422,297 segundos = 2 horas e 20 minutos. Se excedeu o limite de picos, precisa de um disco de 100 GB para armazenar dados em buffer durante um dia.

Perguntas frequentes

Que erro é acionado quando excede o limite de picos?

Quando excede o limite de picos, recebe o erro HTTP 429.

Como resolve o erro HTTP 429?

Tente novamente o pedido após cinco minutos.

Com que frequência são atualizados os limites de picos?

Os limites de picos são atualizados a cada cinco minutos.