Use o Cloud Monitoring para estatísticas de carregamento

Compatível com:

Este documento descreve como usar o Cloud Monitoring para receber notificações de carregamento. O Google SecOps usa o Cloud Monitoring para enviar as notificações de carregamento. Use esta funcionalidade para notificações de carregamento e visualização do volume de carregamento. Pode integrar notificações por email em fluxos de trabalho existentes. As notificações são acionadas quando os valores de carregamento atingem determinados níveis predefinidos. Na documentação do Cloud Monitoring, as notificações são denominadas alertas.

Antes de começar

Configure a notificação de carregamento para métricas de saúde

Para configurar notificações que monitorizam as métricas de estado de funcionamento do carregamento específicas do Google SecOps, faça o seguinte:

  1. Na Google Cloud consola, selecione Monitorização.

  2. No painel de navegação, selecione Alertas e, de seguida, clique em Criar política.

  3. Na página Selecionar uma métrica, clique em Selecionar uma métrica.

  4. No menu Selecione uma métrica, clique numa das seguintes opções:

    • Ative/desative o botão Ativo para filtrar e apresentar apenas recursos e métricas com dados das últimas 25 horas. Se não selecionar esta opção, são apresentados todos os tipos de recursos e métricas.
    • Ative/desative o botão Nível da organização/pasta para monitorizar recursos e métricas, como a utilização da quota do consumidor ou a atribuição de slots do BigQuery, para a sua organização e pastas.

  5. Selecione qualquer uma das seguintes métricas:

    • Selecione Chronicle Collector > Carregamento e, de seguida, selecione Total de registos carregados ou Tamanho total dos registos carregados.

    • Selecione Chronicle Collector > Normalizer e, de seguida, selecione Total record count ou Total event count.

    • Selecione Tipo de registo do Chronicle > Outofband e, de seguida, selecione Total de registos carregados (feeds) ou Tamanho total dos registos carregados (feeds).

  6. Clique em Aplicar.

Adicione um filtro

  1. Na página Selecionar uma métrica, clique em Adicionar filtro.

    1. Na caixa de diálogo do filtro, selecione a etiqueta collector_id, um comparador e o valor do filtro.

    2. Selecione um ou mais dos seguintes filtros:

      • project_id: ID do Google Cloud projeto associado a este recurso.

      • location: localização física do cluster que contém o objeto coletor. Recomendamos que não use este campo. Se deixar este campo vazio, o Google SecOps pode usar as informações existentes para determinar automaticamente onde armazenar os dados.

      • collector_id: ID do comerciante.

      • log_type: nome do tipo de registo.

      • Etiqueta da métrica > namespace: espaço de nomes do registo.

      • feed_name: nome do feed.

      • LogType: tipo de registo.

      • Etiqueta da métrica > event_type: o tipo de evento determina os campos incluídos no evento. O tipo de evento inclui valores, como PROCESS_OPEN, FILE_CREATION, USER_CREATION e NETWORK_DNS.

      • Etiqueta da métrica > state: estado final do evento ou registo. O estado é um dos seguintes:

        • parsed: o registo foi analisado com êxito.
        • validated. O registo foi validado com êxito.
        • failed_parsing. O registo tem erros de análise.
        • failed_validation. O registo tem erros de validação.
        • failed_indexing. O registo tem erros de indexação em lote.

      • Etiqueta da métrica > drop_reason_code: este campo é preenchido se a origem da carregamento for o encaminhador do Google SecOps e indica o motivo pelo qual um registo foi ignorado durante a normalização.

      • Etiqueta de métricas > ingestion_source: a origem do carregamento presente na etiqueta de carregamento quando os registos são carregados através da API Ingestion.

    3. Selecione um ID de recolhedor especial. O collector_id também pode ser um ID de encaminhamento ou um ID especial com base no método de carregamento:

      • aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa:
        representa todos os feeds criados através da API Feed Management ou da página. Para mais informações sobre a gestão de feeds, consulte os artigos Gestão de feeds e API de gestão de feeds.

      • aaaa1111-aaaa-1111-aaaa-1111aaaa1111:
        representa o agente de recolha, incluindo o Bindplane (Google Edition).

      • aaaa1111-aaaa-1111-aaaa-1111aaaa1112:
        Bindplane Enterprise (Google Edition).

      • aaaa1111-aaaa-1111-aaaa-1111aaaa1113:
        Bindplane Enterprise.

      • aaaa1111-aaaa-1111-aaaa-1111aaaa1114:
        coletor sem interface.

      • aaaa2222-aaaa-2222-aaaa-2222aaaa2222:
        registos carregados através do método HTTPS Push, incluindo Webhooks, Amazon Kinesis Firehose e feeds do tipo de origem Google Cloud Pub/Sub.

      • aaaa3333-aaaa-3333-aaaa-3333aaaa3333:
        registos do Cloud Storage e inclui registos carregados através da Deteção de ameaças de eventos.

      • aaaa4444-aaaa-4444-aaaa-4444aaaa4444:
        registos carregados através da integração do feed do Azure Event Hub. Isto inclui feeds do tipo de origem do Microsoft Azure Event Hub.

      • bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb:
        representa todas as origens de carregamento que usam o método unstructuredlogentries da API Ingestion. Para mais informações sobre as APIs de carregamento, consulte a API Google SecOps Ingestion.

      • cccccccc-cccc-cccc-cccc-cccccccccccc:
        representa todas as origens de carregamento que usam o método da API Google Ads udmevents.

      • dddddddd-dddd-dddd-dddd-dddddddddddd:
        representa qualquer registo carregado através da API interna, que não é através do carregamento do processador OutOfBand (OOB) nem do Google Cloud carregamento de registos.

      • eeeeeeee-eeee-eeee-eeee-eeeeeeeeeeee:
        representa o collector_id usado para CreateEntities.

  2. Na secção Transformar dados, faça o seguinte:

    1. Defina o campo Agregação de intervalos temporais como soma.
    2. Defina o campo Agrupar por série cronológica como project_id.
  1. Opcional: configure uma política de alerta com várias condições. Para criar notificações de carregamento com várias condições numa política de alerta, consulte o artigo Políticas com várias condições.

Métricas do encaminhador do Google SecOps e filtros associados

A tabela seguinte descreve as métricas do encaminhador do Google SecOps disponíveis e os filtros associados.

Métrica do encaminhador do Google SecOps Filtro
Memória do contentor usada log_type, collector_id
Disco do contentor usado log_type, collector_id
Container cpu_used log_type, collector_id
Log drop_count log_type, collector_id, input_type, reason
buffer_used log_type, collector_id, buffer_type, input_type
last_heartbeat log_type, collector_id, input_type

Configure uma política de exemplo para detetar encaminhadores silenciosos do Google SecOps

A seguinte política de exemplo deteta todos os encaminhadores do Google SecOps e envia alertas se os encaminhadores do Google SecOps não enviarem registos durante 60 minutos. Isto pode não ser útil para todos os encaminhadores do Google SecOps que quer monitorizar. Por exemplo, pode monitorizar uma única origem de registos em um ou vários encaminhadores do Google SecOps com um limite diferente ou excluir encaminhadores do Google SecOps com base na respetiva frequência de relatórios.

  1. Na Google Cloud consola, selecione Monitorização.
    Aceder ao Cloud Monitoring

  2. Clique em Criar política.

  3. Na página Selecionar uma métrica, selecione Chronicle Collector > Carregamento > Total de registos carregados.

  4. Clique em Aplicar.

  5. Na secção Transformar dados, faça o seguinte:

    1. Defina o Período dinâmico para um período de até 1 hora*.
    2. Defina a Função de período dinâmico como média.
    3. Defina a agregação de séries cronológicas como média.
    4. Defina o Agrupar por série cronológica como collector_id. Se esta opção não estiver definida para agrupar por collector_id, é acionado um alerta para cada origem de registo.

  6. Clicar em Seguinte.

  7. Selecione Ausência de métricas e faça o seguinte:

    1. Defina o Acionador de alerta como Qualquer série cronológica viola.
    2. Defina a Hora de ausência do acionador para um período de até 1 hora.
    3. Introduza um nome para a condição e clique em Seguinte.

  8. Na secção Notificações e nome, faça o seguinte:

    1. Selecione um canal de notificação no campo Usar canal de notificação. Recomendamos que configure vários canais de notificação para fins de redundância.
    2. Configure as notificações no encerramento de incidentes.
    3. Defina as etiquetas de utilizador da política para um nível adequado. Use esta definição para definir o nível de gravidade do alerta para uma política.
    4. Introduza qualquer documentação que queira enviar como parte do alerta.
    5. Introduza um nome para a política de alertas.

Adicione exclusões a uma política geral

Pode ser necessário excluir determinados encaminhadores do Google SecOps de uma política geral, uma vez que podem ter volumes de tráfego baixos ou exigir uma política de alerta mais personalizada.

  1. Na Google Cloud consola, selecione Monitorização.

  2. Na página de navegação, selecione Alertas e, de seguida, na secção Políticas, selecione a política que quer editar.

  3. Na página Detalhes da política, clique em Editar.

  4. Na página Editar política de alertas, na secção Adicionar filtros, selecione Adicionar um filtro e faça o seguinte:

    1. Selecione a etiqueta collector_id e o coletor que quer excluir da política.
    2. Defina o comparador como != e o valor como o collector_id que quer excluir e clique em Concluído.
    3. Repita o procedimento para cada coletor que precise de ser excluído. Também pode usar uma expressão regular para excluir vários coletores com apenas um filtro se quiser usar o seguinte formato:

    (?:aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa|bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb|cccccccc-cccc-cccc-cccc-cccccccccccc)

  5. Clique em Guardar política.

Configure uma política de exemplo para detetar agentes de recolha do Google SecOps silenciosos

A política de exemplo seguinte deteta todos os agentes de recolha do Google SecOps e envia alertas se os agentes de recolha do Google SecOps não enviarem registos durante 60 minutos. Esta amostra pode não ser útil para todos os agentes de recolha do Google SecOps que quer monitorizar. Por exemplo, pode monitorizar uma única origem de registo em um ou vários agentes de recolha do Google SecOps com um limite diferente ou excluir agentes de recolha do Google SecOps com base na respetiva frequência de relatórios.

  1. Na Google Cloud consola, selecione Monitorização.
    Aceder ao Cloud Monitoring

  2. Clique em Criar política.

  3. Na página Selecionar uma métrica, selecione Chronicle Collector > Agente > Número de intervalos aceites do exportador.

  4. Clique em Aplicar.

  5. Na secção Transformar dados, faça o seguinte:

    1. Defina o Período dinâmico para até 1 hora*.
    2. Defina a Função de período dinâmico como média.
    3. Defina a agregação de séries cronológicas como média.
    4. Defina o Agrupar por série cronológica como collector_id. Se esta opção não estiver definida para agrupar por collector_id, é acionado um alerta para cada origem de registo.

  6. Clicar em Seguinte.

  7. Selecione Ausência de métricas e faça o seguinte:

    1. Defina o Acionador de alerta como Qualquer série cronológica viola.
    2. Defina o Tempo de ausência do acionador para até 1 hora*.
    3. Introduza um nome para a condição e clique em Seguinte.

  8. Na secção Notificações e nome, faça o seguinte:

    1. Selecione um canal de notificação no campo Usar canal de notificação. Recomendamos que configure vários canais de notificação para fins de redundância.
    2. Configure as notificações no encerramento de incidentes.
    3. Defina as etiquetas de utilizador da política para um nível adequado. Isto é usado para definir o nível de gravidade do alerta para uma política.
    4. Introduza qualquer documentação que queira enviar como parte do alerta.
    5. Introduza um nome para a política de alertas.

Veja a ingestão total por tipo de registo

Para ver os volumes de carregamento por tipo de registo no Cloud Monitoring, faça o seguinte:

  1. Na página Definições, selecione Perfil.

  2. Selecione o seu perfil do Cloud Monitoring.

  3. Na página Perfil, escreva Integrações na barra de pesquisa.

  4. Selecione Explorador de métricas.

  5. Clique em promQL para mudar para o modo de consulta promQL.

  6. No campo Consultas, copie o seguinte:

    sum by (log_type) (increase(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[1h]))

  7. Opcional: filtre um tipo de registo específico e inclua-o na consulta.

Por exemplo, para ver a carregamento para o tipo de registo GCP_CLOUDAUDIT, a consulta teria o seguinte aspeto:

`sum(increase(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector",log_type="GCP_CLOUDAUDIT"}[1h]))`

  1. Na secção Resultados, selecione o separador Tabela para ver os dados somados.

  2. Opcional: ajuste o intervalo de tempo, conforme necessário.

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais da Google SecOps.