Présentation de l'extraction automatique

Compatible avec :

Ce document explique comment les données sont extraites automatiquement pour améliorer la capacité d'ingestion, de traitement et d'analyse des données.

Google Security Operations utilise des analyseurs prédéfinis pour extraire et structurer les données de journaux à l'aide du schéma UDM (Unified Data Model). La gestion et la maintenance de ces analyseurs peuvent s'avérer difficiles en raison de plusieurs limites : extraction incomplète des données, nombre croissant d'analyseurs à gérer et nécessité de mises à jour fréquentes à mesure que les formats de journaux évoluent.

Pour relever ces défis, vous pouvez utiliser la fonctionnalité d'extraction automatique. Cette fonctionnalité extrait automatiquement les paires clé/valeur des journaux au format JSON ingérés dans Google SecOps. Il est également compatible avec les journaux au format Syslog qui incluent un message JSON. Ces données extraites sont stockées dans un champ UDM de type map appelé extracted. Vous pouvez ensuite utiliser ces données dans les requêtes de recherche UDM, les tableaux de bord natifs et les règles YARA-L.

Bonne pratique : les recherches UDM utilisant des champs extraits doivent inclure metadata.log_type dans leur requête pour des performances de requête de recherche améliorées.

L'avantage de l'extraction automatique est qu'elle réduit la dépendance aux analyseurs, ce qui garantit que les données restent disponibles, même lorsqu'un analyseur est absent ou ne parvient pas à analyser un journal.

Analyser et extraire des données du journal brut

  1. Analyse : Google SecOps tente d'analyser les journaux à l'aide d'un analyseur spécifique au type de journal, le cas échéant. Si aucun analyseur spécifique n'existe ou si l'analyse échoue, Google SecOps utilise un analyseur général pour extraire des informations de base telles que le code temporel ingéré, le type de journal et les libellés de métadonnées.

  2. Extraction des données : tous les points de données sont automatiquement extraits des journaux.

  3. Enrichissement des événements : Google SecOps combine les données analysées et tous les champs au format personnalisé pour créer des événements enrichis, ce qui fournit plus de contexte et de détails.

  4. Transfert de données en aval : ces événements enrichis sont ensuite envoyés à d'autres systèmes pour une analyse et un traitement plus approfondis.

Utiliser des extracteurs

Les extracteurs vous permettent d'extraire des champs de sources de journaux à volume élevé. Ils sont conçus pour optimiser la gestion des journaux. En utilisant des extracteurs, vous pouvez réduire la taille des événements, améliorer l'efficacité de l'analyse et mieux contrôler l'extraction des données. Cela est particulièrement utile pour gérer de nouveaux types de journaux ou minimiser le temps de traitement.

Vous pouvez créer des extracteurs à l'aide du menu Paramètres SIEM ou en effectuant une recherche de journaux bruts.

Créer des extracteurs

  1. Accédez au volet Extraire des champs supplémentaires à l'aide de l'une des méthodes suivantes :

    • Cliquez sur Paramètres SIEM > Analyseurs, puis procédez comme suit :
      1. Dans le tableau ANALYSERS qui s'affiche, identifiez un analyseur (source de journaux), puis cliquez sur Menu > Extend Parser > Extract Additional Fields (Étendre l'analyseur > Extraire des champs supplémentaires).
    • Utilisez Raw Log Scan et procédez comme suit :
      1. Sélectionnez les sources de journaux (analyseurs) requises dans le menu Sources de journaux.
      2. Dans les résultats bruts des journaux, sélectionnez une source de journaux pour ouvrir le volet DONNÉES D'ÉVÉNEMENT.
      3. Dans le volet DONNÉES D'ÉVÉNEMENT, cliquez sur Gérer l'analyseur > Étendre l'analyseur > Extraire des champs supplémentaires.
    • Utilisez la recherche UDM et procédez comme suit :
      1. Dans l'onglet ÉVÉNEMENTS des résultats de recherche UDM, sélectionnez une source de journaux pour afficher le volet Observateur d'événements.
      2. Dans l'onglet Journal brut, cliquez sur Gérer l'analyseur > Étendre l'analyseur > Extraire des champs supplémentaires.

  2. Dans l'onglet Sélectionner des extracteurs du volet Extraire des champs supplémentaires, sélectionnez les champs de journaux bruts requis. Par défaut, vous pouvez sélectionner jusqu'à 100 champs. Si aucun champ supplémentaire ne peut être extrait, un message d'avertissement s'affiche.

    Cliquez sur l'onglet Journal brut de référence pour afficher les données brutes du journal et prévisualiser la sortie UDM.

  3. Cliquez sur Enregistrer.

L'extracteur que vous venez de créer est libellé EXTRACTOR. Les champs extraits s'affichent dans le résultat UDM sous la forme extracted.field{"fieldName"}.

Afficher les détails de l'extracteur

  1. Accédez à la ligne de l'extracteur dans le tableau ANALYSERS (ANALYSEURS), puis cliquez sur Menu > Extend Parser (Étendre l'analyseur) > View Extension (Afficher l'extension).
  2. Sur la page AFFICHER LES ANALYSEURS PERSONNALISÉS, cliquez sur l'onglet Extensions et champs extraits.

Cet onglet affiche des informations sur les extensions d'analyseur et les champs d'extraction. Vous pouvez modifier ou supprimer des champs, et prévisualiser la sortie de l'analyseur sur la page AFFICHER LES ANALYSEURS PERSONNALISÉS.

Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.