Límites de ráfaga

En este documento se describen los límites de ráfaga que se aplican a los recursos de Google Security Operations, en concreto, el volumen de datos que puede ingerir en Google SecOps un solo cliente. Los límites de ráfaga restringen el uso de los recursos compartidos por todos los clientes:

• Límite superior de la cantidad de datos que puede ingerir un solo cliente. De esta forma, se asegura que un aumento repentino de datos de un solo cliente no afecte a los demás.
• Monitoriza el uso de los recursos compartidos de cada cliente.
• Mantiene las configuraciones que aplican automáticamente los límites de ráfaga.
• Proporciona un medio para solicitar o hacer cambios en los límites de ráfaga.

En el caso de la protección contra sobretensiones, el límite de ráfaga se mide en periodos de 5 minutos. No es un límite de ingestión diario.

Aumento del límite de ráfaga por cliente

Si tienes previsto aumentar rápidamente tu tasa de ingestión, podemos ayudarte a planificarlo con antelación y asegurarnos de que la ingestión de datos se mantenga estable. Para solicitar un aumento del límite de ráfaga, ponte en contacto con el equipo de Asistencia Técnica de Google SecOps con antelación.

Resumen de los límites de ráfaga

Los límites de ráfaga restringen la cantidad de datos que puede enviar un cliente a Google SecOps. De esta forma, se garantiza la equidad y se evitan las repercusiones en otros clientes debido a los picos de ingesta de un solo cliente. Los límites de ráfaga aseguran que la ingestión de datos de clientes funcione correctamente y se pueden ajustar de forma proactiva mediante una incidencia. Para aplicar límites de ráfaga, SecOps de Google usa las siguientes clasificaciones en función del volumen de ingestión:

Se aplican las siguientes directrices a los límites de ráfaga:

• Cuando se alcance el límite de ráfaga, las fuentes de ingestión configuradas correctamente deberían almacenar en búfer los datos adicionales. No deben configurarse para que se eliminen los datos.

  • En el caso de la ingestión basada en extracción, como los feeds de Google Cloud y de API, la ingestión se almacena en búfer automáticamente y no requiere ninguna configuración adicional.
  • En el caso de los métodos de ingestión basados en push, como los reenviadores, los webhooks y la ingestión de APIs, configure los sistemas para que vuelvan a enviar los datos automáticamente cuando se alcance el límite de ráfaga. En sistemas como Bindplane y Cribl, configura el almacenamiento en búfer para gestionar el desbordamiento de datos de forma eficiente.

• Antes de alcanzar el límite de ráfaga, puedes aumentarlo.

• Para determinar si te acercas al límite de ráfaga, consulta Ver el uso del límite de ráfaga.

Ver el uso del límite de ráfaga

Puedes ver el uso del límite de ráfaga con Google SecOps o Cloud Monitoring.

Usar el panel de control de Google SecOps para ver los límites de ráfaga

Para ver el uso del límite, utiliza las siguientes visualizaciones en el panel de control Ingesta de datos y estado de Google SecOps:

• Gráfico de límite de ráfaga: tasa de ingestión: muestra la tasa de ingestión.
• Gráfico de límite de ráfaga: límite de cuota: muestra el límite de cuota.
• Gráfico de rechazo de picos: muestra el volumen de los registros que se han rechazado por superar el límite de picos.

Para ver las visualizaciones, haga lo siguiente:

1. En el menú de Google SecOps, selecciona Paneles de control.

2. En la sección Paneles de control predeterminados, seleccione Ingestión y estado de los datos.

   En el panel de control Ingestión de datos y estado, puede ver las visualizaciones.

Usar Cloud Monitoring para ver los límites de ráfaga

Para ver los límites de ráfaga de Google SecOps en la consola Google Cloud , necesitas los mismos permisos que para cualquier límite Google Cloud . Para obtener más información, consulta Conceder acceso a Cloud Monitoring.

Para obtener información sobre cómo ver las métricas mediante gráficos, consulta el artículo Crear gráficos con el explorador de métricas.

Para ver el uso del límite de ráfaga, utiliza la siguiente consulta de PromQL:

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))

Para ver el número de bytes que se han rechazado tras superar el límite de ráfaga, usa la siguiente consulta de PromQL:

sum(rate(chronicle_googleapis_com:ingestion_log_quota_rejected_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[15m]))

Para crear una alerta cuando los bytes ingeridos superen el 70% del límite de ráfaga, usa la siguiente consulta de PromQL:

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/
min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m])) > 70

Almacenar en búfer los datos en la fuente de ingesta

En la siguiente tabla se describe la configuración necesaria para almacenar en búfer (en lugar de descartar) los datos de su empresa en función de la fuente de ingesta.

Solución de problemas

Estrategias para no superar los límites

Las siguientes directrices te ayudarán a no superar el límite de ráfaga:

• Crea una alerta de ingestión que te avise cuando el volumen de bytes ingeridos supere el umbral del límite de ráfaga. Para obtener más información sobre cómo configurar alertas de ingestión, consulta el artículo Usar Cloud Monitoring para recibir notificaciones de ingestión.

• Para identificar las fuentes y el volumen de ingesta, crea una alerta de monitorización con collector_id y log_type, junto con la métrica chronicle.googleapis.com/ingestion/log/bytes_count. Para identificar las fuentes y el volumen de la ingesta, usa la siguiente consulta de PromQL:

  sum by (collector_id,log_type)(rate(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[5m]))
  

• Si prevés que el volumen de ingesta aumentará más de cuatro veces el volumen normal, ponte en contacto con el equipo de Asistencia Técnica de SecOps de Google con antelación para aumentar el límite de ráfaga.

• Si usas un reenviador de Google SecOps para ingerir datos, puedes usar búferes de disco para almacenar datos en búfer cuando superes el límite de ráfaga. Para obtener más información, consulta Usar búferes de disco para reenviadores.

Gestionar eventos de límite de ráfaga

Si alcanzas el límite de ráfaga, realiza las siguientes acciones para tu método de ingesta:

Usar búferes de disco para reenviadores

Si usas el reenviador de SIEM de Google SecOps, te recomendamos que empieces a usar búferes de disco para almacenar datos en búfer cuando superes el límite de ráfaga. El tamaño máximo de RAM que usa el recopilador es de 4 GB. Puedes definir este límite con el ajuste max_file_buffer_bytes en la configuración del colector. Para almacenar en búfer datos de más de 4 GB, usa búferes de disco. Para decidir el tamaño del búfer de disco, identifica la velocidad a la que los reenviadores están ingiriendo datos mediante la siguiente consulta de MQL:

sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector", collector_id!~ "
(aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa
|bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb
|cccccccc-cccc-cccc-cccc-cccccccccccc
|dddddddd-dddd-dddd-dddd-dddddddddddd
|aaaa2222-aaaa-2222-aaaa-2222aaaa2222)"}[5m]))

Por ejemplo, si la tasa de ingestión del reenviador es de 415 Kbps y la eficiencia de compresión del búfer es del 70%, la tasa de llenado del búfer se calcula de la siguiente manera: 415 Kbps × (100 % – 70%) = 124,5 Kbps. Con esta velocidad, un tamaño de búfer de 1 GB, que es el valor predeterminado del búfer en memoria, se llena en 2 horas y 20 minutos. El cálculo es el siguiente: 1024 x 1024 / 124,5 = 8422,297 segundos = 2 horas y 20 minutos. Si has superado el límite de ráfaga, necesitas un disco de 100 GB para almacenar datos en búfer durante un día.

Preguntas frecuentes

¿Qué error se activa cuando se supera el límite de ráfaga?

Si superas el límite de ráfaga, recibirás el error HTTP 429.

¿Cómo se resuelve el error HTTP 429?

Vuelve a intentar la solicitud en cinco minutos.

¿Con qué frecuencia se actualizan los límites de ráfaga?

Los límites de ráfaga se actualizan cada cinco minutos.