Utiliser Cloud Monitoring pour obtenir des insights sur l'ingestion

Compatible avec :

Ce document explique comment utiliser Cloud Monitoring pour recevoir des notifications d'ingestion. Google SecOps utilise Cloud Monitoring pour envoyer les notifications d'ingestion. Utilisez cette fonctionnalité pour les notifications d'ingestion et pour afficher le volume d'ingestion. Vous pouvez intégrer les notifications par e-mail aux workflows existants. Les notifications sont déclenchées lorsque les valeurs d'ingestion atteignent certains niveaux prédéfinis. Dans la documentation Cloud Monitoring, les notifications sont appelées alertes.

Avant de commencer

Configurer une notification d'ingestion pour les métriques d'état

Pour configurer des notifications qui surveillent les métriques sur l'état de l'ingestion spécifiques à Google SecOps, procédez comme suit :

  1. Dans la console Google Cloud , sélectionnez Surveillance.

  2. Dans le volet de navigation, sélectionnez Alertes, puis cliquez sur Créer une règle.

  3. Sur la page Sélectionner une métrique, cliquez sur Sélectionner une métrique.

  4. Dans le menu Sélectionner une métrique, cliquez sur l'une des options suivantes :

    • Actif : activez cette option pour filtrer et afficher uniquement les ressources et les métriques ayant enregistré des données au cours des 25 dernières heures. Si vous ne la sélectionnez pas, tous les types de ressources et de métriques sont listés.
    • Activez l'option Niveau de l'organisation/du dossier pour surveiller les ressources et les métriques de votre organisation et de vos dossiers, telles que l'utilisation du quota des clients ou l'allocation d'emplacements emplacement BigQuery.

  5. Sélectionnez l'une des métriques suivantes :

    • Sélectionnez Collecteur Chronicle > Ingestion, puis Nombre total de journaux ingérés ou Taille totale des journaux ingérés.

    • Sélectionnez Chronicle Collector > Normalizer, puis Nombre total d'enregistrements ou Nombre total d'événements.

    • Sélectionnez Type de journal Chronicle> Hors bande, puis Nombre total de journaux ingérés (flux) ou Taille totale des journaux ingérés (flux).

  6. Cliquez sur Appliquer.

Ajouter un filtre

  1. Sur la page Sélectionner une métrique, cliquez sur Ajouter un filtre.

    1. Dans la boîte de dialogue du filtre, sélectionnez le libellé collector_id, un comparateur et la valeur du filtre.

    2. Sélectionnez un ou plusieurs des filtres suivants :

      • project_id : ID du projet Google Cloud associé à cette ressource.

      • location : emplacement physique du cluster contenant l'objet collecteur. Nous vous recommandons de ne pas utiliser ce champ. Si vous laissez ce champ vide, Google SecOps peut utiliser les informations existantes pour déterminer automatiquement où stocker les données.

      • collector_id : ID du marchand.

      • log_type : nom du type de journal.

      • Libellé de métrique > namespace : espace de noms du journal.

      • feed_name : nom du flux.

      • LogType : type de journal.

      • Libellé de métrique > event_type : le type d'événement détermine les champs inclus dans l'événement. Le type d'événement inclut des valeurs telles que PROCESS_OPEN, FILE_CREATION, USER_CREATION et NETWORK_DNS.

      • Libellé de la métrique > state : état final de l'événement ou du journal. L'état est l'un des suivants :

        • parsed : le journal a été analysé avec succès.
        • validated. Le journal a bien été validé.
        • failed_parsing. Le journal comporte des erreurs d'analyse.
        • failed_validation. Le journal comporte des erreurs de validation.
        • failed_indexing. Le journal contient des erreurs d'indexation par lot.

      • Libellé de métrique > drop_reason_code : ce champ est renseigné si la source d'ingestion est le transmetteur Google SecOps. Il indique la raison pour laquelle un journal a été supprimé lors de la normalisation.

      • Libellé de métrique > ingestion_source : source d'ingestion présente dans le libellé d'ingestion lorsque les journaux sont ingérés à l'aide de l'API Ingestion.

    3. Sélectionnez un ID de collecteur spécial. collector_id peut également être un ID de transfert ou un ID spécial basé sur la méthode d'ingestion :

      • aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa :
        représente tous les flux créés à l'aide de l'API ou de la page Feed Management. Pour en savoir plus sur la gestion des flux, consultez Gestion des flux et API Feed Management.

      • aaaa1111-aaaa-1111-aaaa-1111aaaa1111 :
        représente l'agent de collecte, y compris Bindplane (Google Edition).

      • aaaa1111-aaaa-1111-aaaa-1111aaaa1112 :
        Bindplane Enterprise (Google Edition).

      • aaaa1111-aaaa-1111-aaaa-1111aaaa1113 :
        Bindplane Enterprise.

      • aaaa1111-aaaa-1111-aaaa-1111aaaa1114 :
        Collecteur sans interface graphique.

      • aaaa2222-aaaa-2222-aaaa-2222aaaa2222 :
        Journaux ingérés via la méthode HTTPS Push, y compris les flux de type de source Webhooks, Amazon Kinesis Firehose et Google Cloud Pub/Sub.

      • aaaa3333-aaaa-3333-aaaa-3333aaaa3333 : journaux Cloud Storage, y compris ceux ingérés par Event Threat Detection.

      • aaaa4444-aaaa-4444-aaaa-4444aaaa4444 :
        Journaux ingérés via l'intégration du flux Azure Event Hub. Cela inclut les flux de type de source Microsoft Azure Event Hub.

      • bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb :
        représente toutes les sources d'ingestion qui utilisent la méthode unstructuredlogentries de l'API Ingestion. Pour en savoir plus sur les API d'ingestion, consultez l'API d'ingestion Google SecOps.

      • cccccccc-cccc-cccc-cccc-cccccccccccc :
        représente toutes les sources d'ingestion qui utilisent la méthode udmevents de l'API Ingestion.

      • dddddddd-dddd-dddd-dddd-dddddddddddd :
        Représente tout journal ingéré via l'API interne, qui n'est pas ingéré via le processeur OutOfBand (OOB) ni via l'ingestion de journaux Google Cloud .

      • eeeeeeee-eeee-eeee-eeee-eeeeeeeeeeee :
        représente le collector_id utilisé pour CreateEntities.

  2. Dans la section Transformer les données, procédez comme suit :

    1. Définissez le champ Agrégation de séries temporelles sur sum.
    2. Définissez le champ Regrouper les séries temporelles par sur project_id.
  1. Facultatif : Configurez une règle d'alerte avec plusieurs conditions. Pour créer des notifications d'ingestion avec plusieurs conditions dans une règle d'alerte, consultez Règles comportant plusieurs conditions.

Métriques du redirecteur Google SecOps et filtres associés

Le tableau suivant décrit les métriques disponibles du transmetteur Google SecOps et les filtres associés.

Métrique du transmetteur Google SecOps Filtre
Mémoire du conteneur utilisée log_type, collector_id
Espace disque utilisé par le conteneur log_type, collector_id
cpu_used du conteneur log_type, collector_id
Nombre d'abandons de journaux log_type, collector_id, input_type, reason
buffer_used log_type, collector_id, buffer_type, input_type
last_heartbeat log_type, collector_id, input_type

Configurer un exemple de règle pour détecter les redirecteurs Google SecOps silencieux

L'exemple de règle suivant détecte tous les répartiteurs Google SecOps et envoie des alertes si les répartiteurs Google SecOps n'envoient pas de journaux pendant 60 minutes. Cela peut ne pas être utile pour tous les réexpéditeurs Google SecOps que vous souhaitez surveiller. Par exemple, vous pouvez surveiller une seule source de journaux sur un ou plusieurs forwarders Google SecOps avec un seuil différent, ou exclure des forwarders Google SecOps en fonction de leur fréquence de création de rapports.

  1. Dans la console Google Cloud , sélectionnez Surveillance.
    Accéder à Cloud Monitoring

  2. Cliquez sur Créer une règle.

  3. Sur la page Sélectionner une métrique, sélectionnez Collecteur Chronicle > Ingestion > Nombre total de journaux ingérés.

  4. Cliquez sur Appliquer.

  5. Dans la section Transformer les données, procédez comme suit :

    1. Définissez la fenêtre glissante sur une durée maximale d'une heure*.
    2. Définissez la fonction de fenêtre glissante sur moyenne.
    3. Définissez Agrégation de séries temporelles sur moyenne.
    4. Définissez Regrouper les séries temporelles par sur collector_id. Si ce paramètre n'est pas défini sur le regroupement par collector_id, une alerte est déclenchée pour chaque source de journaux.

  6. Cliquez sur Suivant.

  7. Sélectionnez Absence de métrique, puis procédez comme suit :

    1. Définissez Déclencheur d'alerte sur À chaque infraction de série temporelle.
    2. Définissez le temps d'absence du déclencheur sur une durée maximale d'une heure.
    3. Saisissez un nom pour la condition, puis cliquez sur Suivant.

  8. Dans la section Notifications et nom, procédez comme suit :

    1. Sélectionnez un canal de notification dans le champ Utiliser un canal de notification. Nous vous recommandons de configurer plusieurs canaux de notification à des fins de redondance.
    2. Configurez les notifications en cas de fermeture d'incident.
    3. Définissez les libellés utilisateur des règles sur un niveau approprié. Utilisez ce paramètre pour définir le niveau de gravité des alertes pour une règle.
    4. Saisissez la documentation que vous souhaitez envoyer avec l'alerte.
    5. Saisissez un nom pour la règle d'alerte.

Ajouter des exclusions à une règle générique

Il peut être nécessaire d'exclure certains forwarders Google SecOps d'une règle globale, car ils peuvent avoir de faibles volumes de trafic ou nécessiter une règle d'alerte plus personnalisée.

  1. Dans la console Google Cloud , sélectionnez Surveillance.

  2. Sur la page de navigation, sélectionnez Alertes, puis, dans la section Règles, sélectionnez la règle que vous souhaitez modifier.

  3. Sur la page Détails de la règle, cliquez sur Modifier.

  4. Sur la page Modifier la règle d'alerte, dans la section Ajouter des filtres, sélectionnez Ajouter un filtre, puis procédez comme suit :

    1. Sélectionnez le libellé collector_id et le collecteur que vous souhaitez exclure de la règle.
    2. Définissez le comparateur sur != et la valeur sur le collector_id que vous souhaitez exclure, puis cliquez sur OK.
    3. Répétez l'opération pour chaque collecteur à exclure. Vous pouvez également utiliser une expression régulière pour exclure plusieurs collecteurs avec un seul filtre si vous souhaitez utiliser le format suivant :

    (?:aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa|bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb|cccccccc-cccc-cccc-cccc-cccccccccccc)

  5. Cliquez sur Save Policy (Enregistrer la stratégie).

Configurer un exemple de règle pour détecter les agents de collecte Google SecOps silencieux

L'exemple de règle suivant détecte tous les agents de collecte Google SecOps et envoie des alertes si les agents de collecte Google SecOps n'envoient pas de journaux pendant 60 minutes. Cet exemple peut ne pas être utile pour tous les agents de collecte Google SecOps que vous souhaitez surveiller. Par exemple, vous pouvez surveiller une seule source de journaux sur un ou plusieurs agents de collecte Google SecOps avec un seuil différent, ou exclure des agents de collecte Google SecOps en fonction de leur fréquence de création de rapports.

  1. Dans la console Google Cloud , sélectionnez Surveillance.
    Accéder à Cloud Monitoring

  2. Cliquez sur Créer une règle.

  3. Sur la page Sélectionner une métrique, sélectionnez Chronicle Collector > Agent > Nombre d'étendues acceptées par l'exportateur.

  4. Cliquez sur Appliquer.

  5. Dans la section Transformer les données, procédez comme suit :

    1. Définissez la fenêtre glissante sur une durée maximale d'une heure*.
    2. Définissez la fonction de fenêtre glissante sur moyenne.
    3. Définissez Agrégation de séries temporelles sur moyenne.
    4. Définissez Regrouper les séries temporelles par sur collector_id. Si ce paramètre n'est pas défini sur collector_id pour le regroupement, une alerte est déclenchée pour chaque source de journaux.

  6. Cliquez sur Suivant.

  7. Sélectionnez Absence de métrique, puis procédez comme suit :

    1. Définissez Déclencheur d'alerte sur À chaque infraction de série temporelle.
    2. Définissez Temps d'absence du déclencheur sur une heure maximum*.
    3. Saisissez un nom pour la condition, puis cliquez sur Suivant.

  8. Dans la section Notifications et nom, procédez comme suit :

    1. Sélectionnez un canal de notification dans le champ Utiliser un canal de notification. Nous vous recommandons de configurer plusieurs canaux de notification à des fins de redondance.
    2. Configurez les notifications en cas de fermeture d'incident.
    3. Définissez les libellés utilisateur des règles sur un niveau approprié. Permet de définir le niveau de gravité de l'alerte pour une règle.
    4. Saisissez toute documentation que vous souhaitez envoyer avec l'alerte.
    5. Saisissez un nom pour la règle d'alerte.

Afficher l'ingestion totale par type de journal

Pour afficher les volumes d'ingestion par type de journal dans Cloud Monitoring, procédez comme suit :

  1. Sur la page Paramètres, sélectionnez Profil.

  2. Sélectionnez votre profil Cloud Monitoring.

  3. Sur la page Profil, saisissez Intégrations dans la barre de recherche.

  4. Sélectionnez l'Explorateur de métriques.

  5. Cliquez sur promQL pour passer au mode requête promQL.

  6. Dans le champ Requêtes, copiez ce qui suit :

    sum by (log_type) (increase(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[1h]))

  7. Facultatif : Filtrez un type de journal spécifique et incluez-le dans la requête.

Par exemple, pour afficher l'ingestion du type de journal GCP_CLOUDAUDIT, la requête se présenterait comme suit :

`sum(increase(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector",log_type="GCP_CLOUDAUDIT"}[1h]))`

  1. Dans la section Résultats, sélectionnez l'onglet Tableau pour afficher les données cumulées.

  2. Facultatif : Ajustez la période si nécessaire.

Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.