Panoramica dell'estrazione automatica

Supportato in:

Questo documento fornisce una panoramica di come i dati vengono estratti automaticamente per migliorare la capacità di importare, elaborare e analizzare i dati.

Google Security Operations utilizza parser predefiniti per estrarre e strutturare i dati dei log utilizzando lo schema Unified Data Model (UDM). La gestione e la manutenzione di questi analizzatori possono essere difficili a causa di diverse limitazioni: estrazione incompleta dei dati, numero crescente di analizzatori da gestire e necessità di aggiornamenti frequenti man mano che i formati dei log si evolvono.

Per affrontare queste sfide, puoi utilizzare la funzionalità di estrazione automatica. Questa funzionalità estrae automaticamente le coppie chiave-valore dai log in formato JSON inseriti in Google SecOps. Supporta anche i log in formato Syslog che includono un messaggio JSON. Questi dati estratti vengono archiviati in un campo UDM di tipo mappa denominato extracted. Puoi quindi utilizzare questi dati all'interno delle query di ricerca UDM, dei dashboard nativi e delle regole YARA-L.

Come best practice, le ricerche UDM che utilizzano i campi estratti devono includere metadata.log_type nella query per migliorare le prestazioni delle query di ricerca.

Il vantaggio dell'estrazione automatica è la minore dipendenza dai parser, il che garantisce che i dati rimangano disponibili, anche quando un parser non è presente o non riesce ad analizzare un log.

Analizza ed estrai i dati dal log non elaborato

  1. Analisi: Google SecOps tenta di analizzare i log utilizzando un parser specifico per il tipo di log, se disponibile. Se non esiste un parser specifico o se l'analisi non riesce, Google SecOps utilizza un parser generico per estrarre informazioni di base come il timestamp di importazione, il tipo di log e le etichette dei metadati.

  2. Estrazione dei dati: tutti i punti dati vengono estratti automaticamente dai log.

  3. Arricchimento degli eventi: Google SecOps combina i dati analizzati e tutti i campi con formato personalizzato per creare eventi arricchiti, fornendo più contesto e dettagli.

  4. Trasferimento dei dati downstream: questi eventi arricchiti vengono poi inviati ad altri sistemi per ulteriori analisi ed elaborazioni.

Utilizzare gli estrattori

Gli estrattori consentono di estrarre campi da origini di log ad alto volume e sono progettati per ottimizzare la gestione dei log. Utilizzando gli estrattori, puoi ridurre le dimensioni degli eventi, migliorare l'efficienza dell'analisi e ottenere un maggiore controllo sull'estrazione dei dati. Ciò è particolarmente utile per gestire nuovi tipi di log o ridurre al minimo il tempo di elaborazione.

Puoi creare estrattori utilizzando il menu Impostazioni SIEM o eseguendo una ricerca nei log non elaborati.

Creare estrattori

  1. Vai al riquadro Estrai campi aggiuntivi utilizzando uno dei seguenti metodi:

    • Fai clic su Impostazioni SIEM > Parser ed esegui le seguenti operazioni:
      1. Nella tabella ANALIZZATORI visualizzata, identifica un analizzatore (origine log) e fai clic su Menu > Estendi analizzatore > Estrai campi aggiuntivi.
    • Utilizza Scansione log non elaborato e fai quanto segue:
      1. Seleziona le origini log (parser) richieste dal menu Origini log.
      2. Dai risultati dei log non elaborati, seleziona un'origine log per aprire il riquadro DATI EVENTO.
      3. Nel riquadro DATI EVENTO, fai clic su Gestisci parser > Estendi parser > Estrai campi aggiuntivi.
    • Utilizza la ricerca UDM e segui questi passaggi:
      1. Nella scheda EVENTI nei risultati di ricerca UDM, seleziona un'origine log per visualizzare il riquadro Visualizzatore eventi.
      2. Nella scheda Log grezzo, fai clic su Gestisci parser > Estendi parser > Estrai campi aggiuntivi.

  2. Nella scheda Seleziona estrattori del riquadro Estrai campi aggiuntivi, seleziona i campi log non elaborati richiesti. Per impostazione predefinita, puoi selezionare fino a 100 campi. Se non sono disponibili campi aggiuntivi per l'estrazione, viene visualizzato un avviso.

    Fai clic sulla scheda Log non elaborato di riferimento per visualizzare i dati di log non elaborati e l'anteprima dell'output UDM.

  3. Fai clic su Salva.

L'estrattore appena creato è etichettato come EXTRACTOR. I campi estratti vengono visualizzati nell'output UDM comeextracted.field{"fieldName"}.

Visualizzare i dettagli dell'estrattore

  1. Vai alla riga dell'estrattore nella tabella ANALIZZATORI e fai clic su Menu > Estendi analizzatore > Visualizza estensione.
  2. Nella pagina VISUALIZZA ANALIZZATORI PERSONALIZZATI, fai clic sulla scheda Estensioni e campi estratti.

Questa scheda mostra informazioni sulle estensioni del parser e sui campi dell'estrattore. Puoi modificare o rimuovere i campi e visualizzare l'output del parser dalla pagina VISUALIZZA ANALIZZATORI PERSONALIZZATI.

Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.