Límites de ráfaga

En este documento, se describen los límites de ráfaga que se aplican a los recursos de Google Security Operations, específicamente el volumen de datos que un solo cliente puede transferir a Google SecOps. Los límites de ráfaga restringen el uso de los recursos compartidos por todos los clientes:

  • Es el límite superior de la cantidad de datos que puede ingerir un solo cliente. Esto garantiza que un aumento repentino de datos de un solo cliente no afecte a otros.
  • Supervisa el uso de recursos compartidos para cada cliente.
  • Mantiene los parámetros de configuración que aplican automáticamente los límites de ráfaga.
  • Proporciona un medio para solicitar o hacer cambios en los límites de ráfaga.

Para la protección contra aumentos repentinos, el límite de ráfaga se mide en períodos de 5 minutos. No es un límite de transferencia diario.

Aumento del límite de ráfaga por cliente

Si planeas aumentar rápidamente tu tasa de transferencia, podemos ayudarte a planificar con anticipación y garantizar que la transferencia de datos se mantenga estable. Para solicitar un aumento en tu límite de ráfaga, comunícate con la Asistencia técnica de Google SecOps con anticipación.

Descripción general de los límites de ráfaga

Los límites de ráfaga restringen la cantidad de datos que un cliente puede enviar a Google SecOps. Esto garantiza la equidad y evita que los aumentos repentinos en la transferencia de datos de un solo cliente afecten a otros clientes. Los límites de ráfaga garantizan que la transferencia de datos del cliente funcione sin problemas y se puedan ajustar de forma proactiva con un ticket de asistencia. Para aplicar límites de ráfaga, Google SecOps usa las siguientes clasificaciones según el volumen de transferencia:

Límite de ráfaga Datos equivalentes anuales con el límite máximo de ráfagas por segundo
20 MBps 600 TB
88 MBps 2.8 PB
350 MBps 11 PB
886 MBps 28 PB
2.6 GBps 82 PB

Se aplican los siguientes lineamientos a los límites de ráfaga:

  • Cuando se alcance el límite de ráfaga, las fuentes de transferencia configuradas correctamente se deben establecer en almacenar en búfer los datos adicionales. No deben configurarse para descartar los datos.

    • En el caso de la transferencia basada en extracción, como Google Cloud y los feeds de API, la transferencia se almacena en búfer automáticamente y no requiere configuración adicional.
    • En el caso de los métodos de transferencia basados en la inserción, como los retransmisores, los webhooks y la transferencia a través de la API, configura los sistemas para que vuelvan a enviar datos automáticamente cuando se alcance el límite de ráfaga. En el caso de sistemas como Bindplane y Cribl, configura el almacenamiento en búfer para controlar el desbordamiento de datos de manera eficiente.

  • Puedes aumentar tu límite de ráfaga antes de alcanzarlo.

  • Para determinar si estás cerca de tu límite de ráfaga, consulta Cómo ver el uso del límite de ráfaga.

Cómo ver el uso del límite de ráfaga

Puedes ver el uso del límite de ráfagas con Google SecOps o Cloud Monitoring.

Cómo usar el panel de Google SecOps para ver tus límites de ráfaga

Para ver el uso del límite, usa las siguientes visualizaciones en el panel de Ingesta y estado de los datos de Google SecOps:

  • Gráfico de límite de ráfaga: Tasa de transferencia: Muestra la tasa de transferencia.
  • Gráfico de límite de ráfaga: Límite de cuota: Muestra el límite de cuota.
  • Gráfico de rechazos por ráfaga: Muestra la cantidad de registros que se rechazaron por exceder el límite de ráfaga.

Para ver las visualizaciones, haz lo siguiente:

  1. En el menú de Google SecOps, selecciona Paneles.

  2. En la sección Paneles predeterminados, selecciona Ingesta y estado de los datos.

    En el panel Ingesta y estado de los datos, puedes ver las visualizaciones.

Usa Cloud Monitoring para ver los límites de ráfaga

Para ver los límites de ráfaga de Google SecOps en la consola de Google Cloud , necesitas los mismos permisos que para cualquier límite de Google Cloud . Para obtener más información, consulta Cómo otorgar acceso a Cloud Monitoring.

Para obtener información sobre cómo ver las métricas con gráficos, consulta Crea gráficos con el Explorador de métricas.

Para ver el uso del límite de ráfaga, usa la siguiente consulta de PromQL:

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))

Para ver la cantidad de bytes que se rechazaron después de superar el límite de ráfaga, usa la siguiente consulta en PromQL:

sum(rate(chronicle_googleapis_com:ingestion_log_quota_rejected_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[15m]))

Para crear una alerta cuando los bytes ingeridos superen el 70% del límite de ráfaga, usa la siguiente consulta de PromQL:

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/
min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m])) > 70

Almacena datos en búfer en la fuente de transferencia

En la siguiente tabla, se describe la configuración necesaria para almacenar en búfer (en lugar de descartar) los datos de tu empresa según la fuente de transferencia.

Fuente de transferencia Configuración del búfer
Google Cloud y feeds de la API de Chronicle Almacenamiento en búfer proporcionado automáticamente
Reenviadores, webhooks y transferencia de datos a través de la API Configura reintentos
Bindplane, Cribl y desviadores Configura la cola persistente

Soluciona problemas

Estrategias para no superar los límites

Los siguientes lineamientos te ayudarán a evitar superar el límite de ráfaga:

  • Crea una alerta de transferencia que te notifique cuando el volumen de bytes transferidos supere el umbral del límite de ráfaga. Para obtener más información sobre cómo configurar alertas de transferencia, consulta Cómo usar Cloud Monitoring para recibir notificaciones de transferencia.

  • Para identificar las fuentes y el volumen de la transferencia, crea una alerta de supervisión con collector_id, log_type y la métrica chronicle.googleapis.com/ingestion/log/bytes_count. Para identificar las fuentes y el volumen de transferencia, usa la siguiente consulta de PromQL:

    sum by (collector_id,log_type)(rate(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[5m]))

  • Si prevés que tu volumen de transferencia aumentará más de cuatro veces tu volumen normal, comunícate con la Asistencia técnica de SecOps de Google con anticipación para aumentar tu límite de ráfaga.

  • Si usas un reenvío de SecOps de Google para transferir datos, puedes usar búferes de disco para almacenar datos en búfer cuando superes el límite de ráfaga. Para obtener más información, consulta Usa búferes de disco para los reenvíadores.

Cómo controlar eventos de límite de ráfaga

Si alcanzas el límite de ráfaga, realiza las siguientes acciones para tu método de transferencia:

Modo de transferencia Acción sugerida
Stream Ingestion Espera hasta que vuelvas a estar por debajo del límite de ráfaga. Si quieres reanudar la transferencia antes, comunícate con el equipo de asistencia técnica de Google SecOps.
Administración de feeds Espera hasta que vuelvas a estar por debajo del límite de ráfaga. Si quieres reanudar la transferencia antes, comunícate con el equipo de asistencia técnica de Google SecOps.
Reenviador Usa búferes de disco para almacenar datos en búfer cuando superes tu límite de ráfaga.
Transferencia de datos por envío HTTPS que usa Amazon Kinesis Data Streams, Pub/Sub o webhooks Asegúrate de que el tiempo de retención esté establecido en el valor máximo posible. Por ejemplo, para establecer el tiempo de retención de Pub/Sub, consulta Cómo configurar la retención de mensajes de suscripción.

Usa búferes de disco para los reenvíos

Si usas el retransmisor SIEM de Google SecOps, te recomendamos que comiences a usar búferes de disco para almacenar datos en búfer cuando superes el límite de ráfaga. El tamaño máximo de RAM que usa el recopilador es de 4 GB. Puedes establecer este límite con el parámetro de configuración max_file_buffer_bytes en la configuración del recopilador. Para almacenar en búfer datos de más de 4 GB, usa búferes de disco. Para decidir el tamaño del búfer de disco, identifica la velocidad a la que los reenviadores realizan la transferencia con la siguiente consulta de MQL:

sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector", collector_id!~ "
(aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa
|bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb
|cccccccc-cccc-cccc-cccc-cccccccccccc
|dddddddd-dddd-dddd-dddd-dddddddddddd
|aaaa2222-aaaa-2222-aaaa-2222aaaa2222)"}[5m]))

Por ejemplo, si la tasa de transferencia del retransmisor es de 415 Kbps y la eficiencia de compresión del búfer es del 70%, la tasa de llenado del búfer se calcula de la siguiente manera: 415 Kbps x (100% - 70%) = 124.5 Kbps. Con esta velocidad, un búfer de 1 GB, que es el valor predeterminado del búfer en la memoria, se llena en 2 horas y 20 minutos. El cálculo es 1,024 x 1,024 / 124.5 = 8,422.297 segundos = 2 horas y 20 minutos. Si superaste el límite de ráfaga, necesitas un disco de 100 GB para almacenar datos en búfer durante un día.

Preguntas frecuentes

¿Qué error se activa cuando superas el límite de ráfaga?

Cuando superas el límite de ráfaga, recibes el error HTTP 429.

¿Cómo se resuelve el error HTTP 429?

Vuelve a intentar enviar la solicitud después de cinco minutos.

¿Con qué frecuencia se actualizan los límites de ráfaga?

Los límites de ráfaga se actualizan cada cinco minutos.