Usar o Cloud Monitoring para insights de ingestão

Compatível com:

Neste documento, descrevemos como usar o Cloud Monitoring para receber notificações de ingestão. O Google SecOps usa o Cloud Monitoring para enviar as notificações de ingestão. Use esse recurso para notificações e visualização do volume de ingestão. É possível integrar notificações por e-mail aos fluxos de trabalho atuais. As notificações são acionadas quando os valores de ingestão atingem determinados níveis predefinidos. Na documentação do Cloud Monitoring, as notificações são chamadas de alertas.

Antes de começar

Configurar uma notificação de ingestão para métricas de integridade

Para configurar notificações que monitoram métricas de integridade de ingestão específicas do Google SecOps, faça o seguinte:

  1. No console Google Cloud , selecione Monitoring.

  2. No painel de navegação, selecione Alertas e clique em Criar política.

  3. Na página Selecionar uma métrica, clique em Selecionar uma métrica.

  4. No menu Selecionar uma métrica, clique em uma das seguintes opções:

    • Ative a opção Ativo para filtrar e mostrar apenas recursos e métricas com dados das últimas 25 horas. Se você não selecionar essa opção, todos os tipos de métricas e recursos serão listados.
    • Ative a opção Nível da organização/pasta para monitorar recursos e métricas, como o uso da cota do consumidor ou a alocação Slot do BigQuery, para sua organização e pastas.

  5. Selecione uma das seguintes métricas:

    • Selecione Coletor do Chronicle > Ingestão e escolha Contagem total de registros ingeridos ou Tamanho total de registros ingeridos.

    • Selecione Coletor do Chronicle > Normalizador e escolha Contagem total de registros ou Contagem total de eventos.

    • Selecione Tipo de registro do Chronicle > Outofband e escolha Contagem total de registros ingeridos (feeds) ou Tamanho total de registros ingeridos (feeds).

  6. Clique em Aplicar.

Adicionar um filtro

  1. Na página Selecionar uma métrica, clique em Adicionar filtro.

    1. Na caixa de diálogo de filtro, selecione o rótulo collector_id, um comparador e o valor do filtro.

    2. Selecione um ou mais dos seguintes filtros:

      • project_id: ID do projeto Google Cloud associado a esse recurso.

      • location: local físico do cluster que contém o objeto do coletor. Recomendamos que você não use esse campo. Se você deixar esse campo em branco, o Google SecOps poderá usar as informações atuais para determinar automaticamente onde armazenar os dados.

      • collector_id: ID do coletor.

      • log_type: nome do tipo de registro.

      • Rótulo da métrica > namespace: namespace do registro.

      • feed_name: nome do feed.

      • LogType: tipo de registro.

      • Rótulo da métrica > event_type: o tipo de evento determina quais campos são incluídos com o evento. O tipo de evento inclui valores como PROCESS_OPEN, FILE_CREATION, USER_CREATION e NETWORK_DNS.

      • Rótulo da métrica > state: status final do evento ou do registro. O status é um dos seguintes:

        • parsed: o registro é analisado.
        • validated. O registro foi validado.
        • failed_parsing. O registro tem erros de análise.
        • failed_validation. O registro tem erros de validação.
        • failed_indexing. O registro tem erros de indexação em lote.

      • Identificador de métrica > drop_reason_code: esse campo é preenchido se a origem da ingestão for o encaminhador do Google SecOps e indica o motivo pelo qual um registro foi descartado durante a normalização.

      • Rótulo da métrica > ingestion_source: a origem da ingestão presente no rótulo de ingestão quando os registros são ingeridos usando a API Ingestion.

    3. Selecione um ID de coletor especial. O collector_id também pode ser um ID de encaminhador ou um ID especial com base no método de ingestão:

      • aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa:
        Representa todos os feeds criados usando a API ou a página Gerenciamento de feeds. Para mais informações sobre o gerenciamento de feeds, consulte Gerenciamento de feeds e API Feed Management.

      • aaaa1111-aaaa-1111-aaaa-1111aaaa1111:
        Representa o agente de coleta, incluindo o Bindplane (Google Edition).

      • aaaa1111-aaaa-1111-aaaa-1111aaaa1112:
        Bindplane Enterprise (edição do Google).

      • aaaa1111-aaaa-1111-aaaa-1111aaaa1113:
        Bindplane Enterprise.

      • aaaa1111-aaaa-1111-aaaa-1111aaaa1114:
        Coletor sem interface.

      • aaaa2222-aaaa-2222-aaaa-2222aaaa2222:
        registros ingeridos pelo método de push HTTPS, incluindo webhooks, Amazon Kinesis Firehose e feeds do tipo de origem Google Cloud Pub/Sub.

      • aaaa3333-aaaa-3333-aaaa-3333aaaa3333:
        Registros do Cloud Storage e inclui registros ingeridos pela Detecção de ameaças a eventos.

      • aaaa4444-aaaa-4444-aaaa-4444aaaa4444:
        Registros ingeridos pela integração do feed do Azure Event Hub. Isso inclui feeds do tipo de fonte do Microsoft Azure Event Hub.

      • bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb:
        Representa todas as fontes de ingestão que usam o método unstructuredlogentries da API Ingestion. Para mais informações sobre as APIs de ingestão, consulte API Google SecOps Ingestion.

      • cccccccc-cccc-cccc-cccc-cccccccccccc:
        Representa todas as fontes de ingestão que usam o método udmevents da API Ingestion.

      • dddddddd-dddd-dddd-dddd-dddddddddddd:
        Representa qualquer registro ingerido pela API interna, que não é pela ingestão do processador OutOfBand (OOB) nem pela ingestão de registros do Google Cloud .

      • eeeeeeee-eeee-eeee-eeee-eeeeeeeeeeee:
        Representa o collector_id usado para CreateEntities.

  2. Na seção Transformar dados, faça o seguinte:

    1. Defina o campo Agregação de séries temporais como soma.
    2. Defina o campo Agrupar por série temporal como project_id.
  1. Opcional: configure uma política de alertas com várias condições. Para criar notificações de ingestão com várias condições em uma política de alertas, consulte Políticas com várias condições.

Métricas do encaminhador do Google SecOps e filtros associados

A tabela a seguir descreve as métricas de encaminhador do Google SecOps disponíveis e os filtros associados.

Métrica de encaminhamento do Google SecOps Filtro
Memória do contêiner usada log_type, collector_id
Disco usado do contêiner log_type, collector_id
cpu_used do contêiner log_type, collector_id
Registrar drop_count log_type, collector_id, input_type, reason
buffer_used log_type, collector_id, buffer_type, input_type
last_heartbeat log_type, collector_id, input_type

Configurar uma política de exemplo para detectar encaminhadores silenciosos do Google SecOps

A política de exemplo a seguir detecta todos os encaminhadores do Google SecOps e envia alertas se eles não enviarem registros por 60 minutos. Isso pode não ser útil para todos os encaminhadores do Google SecOps que você quer monitorar. Por exemplo, é possível monitorar uma única fonte de registros em um ou vários encaminhadores do Google SecOps com um limite diferente ou excluir encaminhadores do Google SecOps com base na frequência de geração de relatórios.

  1. No console Google Cloud , selecione Monitoring.
    Acessar o Cloud Monitoring

  2. Clique em Criar política.

  3. Na página Selecionar uma métrica, escolha Coletor do Chronicle > Ingestão > Contagem total de registros ingeridos.

  4. Clique em Aplicar.

  5. Na seção Transformar dados, faça o seguinte:

    1. Defina a Janela contínua para um período de até 1 hora*.
    2. Defina a Função de janela contínua como média.
    3. Defina a Agregação de série temporal como média.
    4. Defina o Agrupar por série temporal como collector_id. Se não estiver definido para agrupar por collector_id, um alerta será acionado para cada origem de registro.

  6. Clique em Próxima.

  7. Selecione Ausência de métrica e faça o seguinte:

    1. Defina Gatilho de alerta como Qualquer série temporal viola.
    2. Defina o Horário de ausência do gatilho para um período de até 1 hora.
    3. Insira um nome para a condição e clique em Próxima.

  8. Na seção Notificações e nome, faça o seguinte:

    1. Selecione um canal de notificação no campo Usar canal de notificação. Recomendamos que você configure vários canais de notificação para fins de redundância.
    2. Configure notificações no fechamento de incidentes.
    3. Defina os rótulos de usuário da política em um nível adequado. Use essa configuração para definir o nível de gravidade do alerta de uma política.
    4. Insira a documentação que você quer enviar como parte do alerta.
    5. Insira um nome para a política de alertas.

Adicionar exclusões a uma política abrangente

Talvez seja necessário excluir determinados encaminhadores do Google SecOps de uma política catch-all porque eles podem ter volumes de tráfego baixos ou exigir uma política de alertas mais personalizada.

  1. No console Google Cloud , selecione Monitoring.

  2. Na página de navegação, selecione Alertas e, na seção Políticas, escolha a política que você quer editar.

  3. Na página Detalhes da política, clique em Editar.

  4. Na página Editar política de alertas, na seção Adicionar filtros, selecione Adicionar um filtro e faça o seguinte:

    1. Selecione o rótulo collector_id e o coletor que você quer excluir da política.
    2. Defina o comparador como != e o valor como o collector_id que você quer excluir. Depois, clique em Concluído.
    3. Repita para cada coletor que precisa ser excluído. Também é possível usar uma expressão regular para excluir vários coletores com apenas um filtro se quiser usar o seguinte formato:

    (?:aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa|bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb|cccccccc-cccc-cccc-cccc-cccccccccccc)

  5. Clique em Salvar política.

Configurar uma política de exemplo para detectar agentes de coleta silenciosos do Google SecOps

A política de exemplo a seguir detecta todos os agentes de coleta do Google SecOps e envia alertas se eles não enviarem registros por 60 minutos. Essa amostra pode não ser útil para todos os agentes de coleta do Google SecOps que você quer monitorar. Por exemplo, é possível monitorar uma única origem de registros em um ou vários agentes de coleta do Google SecOps com um limite diferente ou excluir agentes de coleta do Google SecOps com base na frequência de geração de relatórios.

  1. No console Google Cloud , selecione Monitoring.
    Acessar o Cloud Monitoring

  2. Clique em Criar política.

  3. Na página Selecionar uma métrica, escolha Chronicle Collector > Agente > Contagem de intervalos aceitos do exportador.

  4. Clique em Aplicar.

  5. Na seção Transformar dados, faça o seguinte:

    1. Defina a Janela contínua como até 1 hora*.
    2. Defina a Função de janela contínua como média.
    3. Defina a Agregação de série temporal como média.
    4. Defina o Agrupar por série temporal como collector_id. Se não estiver definido para agrupar por collector_id, um alerta será acionado para cada origem de registro.

  6. Clique em Próxima.

  7. Selecione Ausência de métrica e faça o seguinte:

    1. Defina Gatilho de alerta como Qualquer série temporal viola.
    2. Defina o Horário de ausência do gatilho como até 1 hora*.
    3. Insira um nome para a condição e clique em Próxima.

  8. Na seção Notificações e nome, faça o seguinte:

    1. Selecione um canal de notificação no campo Usar canal de notificação. Recomendamos que você configure vários canais de notificação para fins de redundância.
    2. Configure notificações no fechamento de incidentes.
    3. Defina os rótulos de usuário da política em um nível adequado. Isso é usado para definir o nível de gravidade do alerta de uma política.
    4. Insira qualquer documentação que você queira enviar como parte do alerta.
    5. Insira um nome para a política de alertas.

Ver a ingestão total por tipo de registro

Para conferir os volumes de ingestão por tipo de registro no Cloud Monitoring, faça o seguinte:

  1. Na página Configurações, selecione Perfil.

  2. Selecione seu perfil do Cloud Monitoring.

  3. Na página Perfil, digite Integrações na barra de pesquisa.

  4. Selecione Metrics Explorer.

  5. Clique em promQL para mudar para o modo de consulta promQL.

  6. No campo Consultas, copie o seguinte:

    sum by (log_type) (increase(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[1h]))

  7. Opcional: filtre um tipo de registro específico e inclua-o na consulta.

Por exemplo, para ver a ingestão do tipo de registro GCP_CLOUDAUDIT, a consulta seria assim:

`sum(increase(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector",log_type="GCP_CLOUDAUDIT"}[1h]))`

  1. Na seção Resultados, selecione a guia Tabela para conferir os dados somados.

  2. Opcional: ajuste o período, conforme necessário.

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.