Usar Cloud Monitoring para obtener estadísticas de la ingesta

Disponible en:

En este documento se describe cómo usar Cloud Monitoring para recibir notificaciones de ingestión. Google SecOps usa Cloud Monitoring para enviar las notificaciones de ingestión. Usa esta función para ver las notificaciones y el volumen de ingesta. Puedes integrar las notificaciones por correo en los flujos de trabajo que ya tengas. Las notificaciones se activan cuando los valores de ingestión alcanzan determinados niveles predefinidos. En la documentación de Cloud Monitoring, las notificaciones se denominan alertas.

Antes de empezar

Configurar notificaciones de ingesta de métricas de salud

Para configurar notificaciones que monitoricen métricas de estado de la ingestión específicas de Google SecOps, haz lo siguiente:

  1. En la Google Cloud consola, selecciona Monitorización.

  2. En el panel de navegación, selecciona Alertas y, a continuación, haz clic en Crear política.

  3. En la página Seleccionar una métrica, haga clic en Seleccionar una métrica.

  4. En el menú Seleccionar una métrica, haga clic en una de las siguientes opciones:

    • Activo para filtrar y mostrar solo los recursos y las métricas con datos de las últimas 25 horas. Si no lo hace, se mostrarán todos los tipos de recursos y métricas.
    • Interruptor de nivel de organización o carpeta: para monitorizar recursos y métricas, como el uso de cuota de consumidor o la asignación de ranuras de BigQuery, en tu organización y tus carpetas.

  5. Seleccione cualquiera de las siguientes métricas:

    • Selecciona Chronicle Collector > Ingestión y, a continuación, Número total de registros ingeridos o Tamaño total de registros ingeridos.

    • Selecciona Chronicle Collector > Normalizer y, a continuación, Total record count (Número total de registros) o Total event count (Número total de eventos).

    • Selecciona Tipo de registro de Chronicle > Outofband y, a continuación, Número total de registros insertados (Feeds) o Tamaño total de registros insertados (Feeds).

  6. Haz clic en Aplicar.

Añadir un filtro

  1. En la página Seleccionar una métrica, haga clic en Añadir filtro.

    1. En el cuadro de diálogo del filtro, seleccione la etiqueta collector_id, un comparador y el valor del filtro.

    2. Selecciona uno o varios de los siguientes filtros:

      • project_id: ID del Google Cloud proyecto asociado a este recurso.

      • location: ubicación física del clúster que contiene el objeto de recogida. Te recomendamos que no utilices este campo. Si deja este campo vacío, Google SecOps puede usar la información disponible para determinar automáticamente dónde almacenar los datos.

      • collector_id ID del recolector.

      • log_type nombre del tipo de registro.

      • Etiqueta de métrica: espacio de nombres: espacio de nombres del registro.

      • feed_name nombre del feed.

      • LogType tipo de registro.

      • Etiqueta de métrica > event_type: el tipo de evento determina qué campos se incluyen en el evento. El tipo de evento incluye valores como PROCESS_OPEN, FILE_CREATION, USER_CREATION y NETWORK_DNS.

      • Etiqueta de métrica > state: estado final del evento o del registro. El estado es uno de los siguientes:

        • parsed: el registro se ha analizado correctamente.
        • validated. El registro se ha validado correctamente.
        • failed_parsing. El registro tiene errores de análisis.
        • failed_validation. El registro contiene errores de validación.
        • failed_indexing. El registro contiene errores de indexación por lotes.

      • Etiqueta de métrica > drop_reason_code: este campo se rellena si la fuente de ingesta es el reenviador de Google SecOps e indica el motivo por el que se ha descartado un registro durante la normalización.

      • Etiqueta de métrica > ingestion_source: la fuente de ingestión presente en la etiqueta de ingestión cuando los registros se ingieren mediante la API Ingestion.

    3. Selecciona un ID de recogida especial. El collector_id también puede ser un ID de reenvío o un ID especial basado en el método de ingestión:

      • aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa
        representa todos los feeds creados mediante la API o la página de gestión de feeds. Para obtener más información sobre la gestión de feeds, consulta Gestión de feeds y API Feed Management.

      • aaaa1111-aaaa-1111-aaaa-1111aaaa1111
        representa el agente de recogida, incluido Bindplane (edición de Google).

      • aaaa1111-aaaa-1111-aaaa-1111aaaa1112
        Bindplane Enterprise (edición de Google).

      • aaaa1111-aaaa-1111-aaaa-1111aaaa1113
        Bindplane Enterprise.

      • aaaa1111-aaaa-1111-aaaa-1111aaaa1114
        recopilador sin interfaz.

      • aaaa2222-aaaa-2222-aaaa-2222aaaa2222
        registros insertados mediante el método de inserción HTTPS, incluidos los feeds de tipo de fuente Webhooks, Amazon Kinesis Firehose y Pub/Sub. Google Cloud

      • aaaa3333-aaaa-3333-aaaa-3333aaaa3333
        registros de Cloud Storage e incluye los registros insertados a través de Event Threat Detection.

      • aaaa4444-aaaa-4444-aaaa-4444aaaa4444
        registros insertados mediante la integración de feeds de Azure Event Hub. Esto incluye los feeds de tipo de fuente de Microsoft Azure Event Hub.

      • bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb
        representa todas las fuentes de ingestión que usan el método unstructuredlogentries de la API Ingestion. Para obtener más información sobre las APIs de ingesta, consulta la API de ingesta de Google SecOps.

      • cccccccc-cccc-cccc-cccc-cccccccccccc
        representa todas las fuentes de ingestión que usan el método udmevents de la API Ingestion.

      • dddddddd-dddd-dddd-dddd-dddddddddddd
        representa cualquier registro insertado a través de la API interna, que no se inserta a través del procesador OutOfBand (OOB) ni a través de la inserción de registros Google Cloud .

      • eeeeeeee-eeee-eeee-eeee-eeeeeeeeeeee
        representa el collector_id usado para CreateEntities.

  2. En la sección Transformar datos, haga lo siguiente:

    1. En el campo Agregación de serie temporal, elija suma.
    2. En el campo Agrupar por serie temporal, elija project_id.
  1. Opcional: Configura una política de alertas con varias condiciones. Para crear notificaciones de ingesta con varias condiciones en una política de alertas, consulta Políticas con varias condiciones.

Métricas de reenvío de Google SecOps y filtros asociados

En la siguiente tabla se describen las métricas de reenvío de Google SecOps disponibles y los filtros asociados.

Métrica de reenvío de Google SecOps Filtro
Memoria de contenedor usada log_type, collector_id
Disco utilizado del contenedor log_type, collector_id
cpu_used del contenedor log_type, collector_id
Registra drop_count log_type, collector_id, input_type, reason
buffer_used log_type, collector_id, buffer_type, input_type
last_heartbeat log_type, collector_id, input_type

Configurar una política de ejemplo para detectar reenviadores silenciosos de Google SecOps

La siguiente política de ejemplo detecta todos los reenviadores de Google SecOps y envía alertas si los reenviadores de Google SecOps no envían registros durante 60 minutos. Puede que no sea útil para todos los reenviadores de Google SecOps que quieras monitorizar. Por ejemplo, puede monitorizar una sola fuente de registro en uno o varios reenviadores de Google SecOps con un umbral diferente o excluir reenviadores de Google SecOps en función de la frecuencia con la que envían informes.

  1. En la Google Cloud consola, selecciona Monitorización.
    Ir a Cloud Monitoring

  2. Haz clic enCreate Policy (Crear política).

  3. En la página Seleccionar una métrica, elija Chronicle Collector > Ingestión > Número total de registros ingeridos.

  4. Haz clic en Aplicar.

  5. En la sección Transformar datos, haga lo siguiente:

    1. Define el periodo en un máximo de 1 hora*.
    2. Define la función de ventana acumulativa como media.
    3. En Agregación de serie temporal, seleccione media.
    4. En Agrupar serie temporal por, seleccione collector_id. Si no se agrupa por collector_id, se activará una alerta por cada fuente de registro.

  6. Haz clic en Siguiente.

  7. Seleccione Falta de métricas y haga lo siguiente:

    1. En Activador de alerta, selecciona Cualquier serie temporal infringe.
    2. Define el Tiempo de activación de ausencia en un periodo de hasta 1 hora.
    3. Escribe un nombre para la condición y haz clic en Siguiente.

  8. En la sección Notificaciones y nombre, haga lo siguiente:

    1. Selecciona un canal de notificaciones en el campo Usar canal de notificaciones. Te recomendamos que configures varios canales de notificación por si falla alguno.
    2. Configura las notificaciones de cierre de incidentes.
    3. Asigna etiquetas de usuario de la política a un nivel adecuado. Utilice este ajuste para definir el nivel de gravedad de las alertas de una política.
    4. Introduce la documentación que quieras enviar como parte de la alerta.
    5. Escribe un nombre para la política de alertas.

Añadir exclusiones a una política general

Puede que sea necesario excluir determinados reenviadores de Google SecOps de una política general porque tengan volúmenes de tráfico bajos o requieran una política de alertas más personalizada.

  1. En la Google Cloud consola, selecciona Monitorización.

  2. En la página de navegación, selecciona Alertas y, a continuación, en la sección Políticas, selecciona la política que quieras editar.

  3. En la página Detalles de la política, haz clic en Editar.

  4. En la página Editar política de alertas, en la sección Añadir filtros, seleccione Añadir un filtro y haga lo siguiente:

    1. Selecciona la etiqueta collector_id y el recolector que quieras excluir de la política.
    2. Define el comparador como != y el valor como el collector_id que quieras excluir. A continuación, haz clic en Hecho.
    3. Repite este proceso con cada recolector que quieras excluir. También puede usar una expresión regular para excluir varios colectores con un solo filtro si quiere usar el siguiente formato:

    (?:aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa|bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb|cccccccc-cccc-cccc-cccc-cccccccccccc)

  5. Haz clic en Save Policy.

Configurar una política de ejemplo para detectar agentes de recogida de Google SecOps silenciosos

La siguiente política de ejemplo detecta todos los agentes de recogida de Google SecOps y envía alertas si los agentes de recogida de Google SecOps no envían registros durante 60 minutos. Es posible que esta muestra no sea útil para todos los agentes de recogida de Google SecOps que quieras monitorizar. Por ejemplo, puede monitorizar una sola fuente de registro en uno o varios agentes de recogida de Google SecOps con un umbral diferente o excluir agentes de recogida de Google SecOps en función de la frecuencia con la que envían informes.

  1. En la Google Cloud consola, selecciona Monitorización.
    Ir a Cloud Monitoring

  2. Haz clic enCreate Policy (Crear política).

  3. En la página Seleccionar una métrica, elija Chronicle Collector > Agent > Exporter Accepted Spans Count.

  4. Haz clic en Aplicar.

  5. En la sección Transformar datos, haga lo siguiente:

    1. Define la ventana acumulativa en un máximo de 1 hora*.
    2. Define la función de ventana acumulativa como media.
    3. En Agregación de serie temporal, seleccione media.
    4. En Agrupar serie temporal por, seleccione collector_id. Si no se define el valor de collector_id, se activará una alerta por cada fuente de registro.

  6. Haz clic en Siguiente.

  7. Seleccione Falta de métricas y haga lo siguiente:

    1. En Activador de alerta, selecciona Cualquier serie temporal infringe.
    2. Define Tiempo de ausencia para activar en un máximo de 1 hora*.
    3. Escribe un nombre para la condición y haz clic en Siguiente.

  8. En la sección Notificaciones y nombre, haga lo siguiente:

    1. Selecciona un canal de notificaciones en el campo Usar canal de notificaciones. Te recomendamos que configures varios canales de notificación por si falla alguno.
    2. Configura las notificaciones de cierre de incidentes.
    3. Asigna etiquetas de usuario de la política a un nivel adecuado. Se usa para definir el nivel de gravedad de la alerta de una política.
    4. Introduce la documentación que quieras que se envíe como parte de la alerta.
    5. Escribe un nombre para la política de alertas.

Ver la ingestión total por tipo de registro

Para ver los volúmenes de ingesta por tipo de registro en Cloud Monitoring, haz lo siguiente:

  1. En la página Configuración, selecciona Perfil.

  2. Selecciona tu perfil de Cloud Monitoring.

  3. En la página Perfil, escribe Integraciones en la barra de búsqueda.

  4. Seleccione Explorador de métricas.

  5. Haz clic en promQL para cambiar al modo de consulta de PromQL.

  6. En el campo Consultas, copia lo siguiente:

    sum by (log_type) (increase(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[1h]))

  7. Opcional: Filtra un tipo de registro específico e inclúyelo en la consulta.

Por ejemplo, para ver la ingesta del tipo de registro GCP_CLOUDAUDIT, la consulta sería la siguiente:

`sum(increase(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector",log_type="GCP_CLOUDAUDIT"}[1h]))`

  1. En la sección Resultados, selecciona la pestaña Tabla para ver los datos sumados.

  2. Opcional: Ajusta el intervalo de tiempo según sea necesario.

¿Necesitas más ayuda? Recibe respuestas de los miembros de la comunidad y de los profesionales de Google SecOps.