Configurare l'esportazione dei dati in BigQuery in un progetto Google Cloud autogestito

Google Security Operations ti consente di esportare i dati del modello unificato dei dati (UDM) in un progetto autogestito di tua proprietà e gestione. Puoi collegare il tuo progetto Google Cloud all'istanza di Google SecOps e gestire in modo indipendente le autorizzazioni IAM senza dipendere dalle impostazioni gestite da Google. Puoi anche attivare e configurare la funzionalità Bring Your Own BigQuery (BYOBQ) selezionando Impostazioni SIEM > Esportazione dati.

Google SecOps esporta le seguenti categorie di dati nel tuo progetto BigQuery:

  • udm_events: dati di log normalizzati nello schema UDM.
  • udm_events_aggregates: dati aggregati riepilogati per ogni ora di eventi normalizzati.
  • entity_graph: il grafico delle entità ha tre dimensioni (dati contestuali, dati derivati e contesto globale). Tutti i dati contestuali e derivati, nonché parte dei dati contestuali globali, sono dati scritti e archiviati come UDM.
  • rule_detections: rilevamenti restituiti dalle regole eseguite in Google SecOps.
  • ioc_matches: corrispondenze IOC trovate rispetto agli eventi UDM.
  • ingestion_metrics: metriche correlate alla pipeline di importazione e normalizzazione (esportate per impostazione predefinita).
  • udm_enum_value_to_name_mapping: mappa i valori enum ai nomi dei campi UDM (esportati per impostazione predefinita).
  • entity_enum_value_to_name_mapping: mappa i valori enum ai nomi dei campi delle entità (esportati per impostazione predefinita).

Periodo di conservazione

Se sei un cliente esistente, il periodo di conservazione che imposti definisce per quanto tempo i dati esportati per BigQuery rimangono nel progetto gestito da Google.

Il periodo di conservazione inizia dalla data del record esportato meno recente. Puoi configurare un periodo di conservazione separato per ogni origine dati, fino a un massimo che corrisponda al periodo di conservazione dei log predefinito in Google SecOps.

Se non viene specificato alcun periodo di conservazione, il comportamento predefinito è quello di continuare a esportare i dati senza alcuna pulizia o eliminazione definitiva, per limitare il periodo di conservazione.

In questo caso, puoi impostare il periodo di conservazione su Illimitato:

  • Fai clic su Impostazioni SIEM > Esportazione dei dati.
  • Nella colonna Periodo di conservazione della tabella Esportazione dati, seleziona Illimitato dall'elenco per il tipo di dati pertinente.

Puoi quindi configurare una regola di ciclo di vita degli oggetti nel bucket di archiviazione Google Cloud per eliminare gli oggetti in base alle esigenze.

Migrazione dei dati per i clienti esistenti

Se sei un cliente esistente, i dati del progetto esistente gestito da Google non vengono migrati al progetto autogestito. Poiché i dati non vengono migrati, si trovano in due progetti separati. Per eseguire query sui dati in un intervallo di tempo che include la data di attivazione del progetto autogestito, devi completare una delle seguenti azioni:

  • Utilizza una singola query che unisce i dati di entrambi i progetti.
  • Esegui due query separate sui rispettivi progetti, una per i dati precedenti alla data di attivazione del progetto autogestito e una per i dati successivi. Al termine del periodo di conservazione del progetto gestito da Google, i dati vengono eliminati. Dopo questo punto, puoi eseguire query solo sui dati che si trovano nel tuo progetto Google Cloud.

Autorizzazioni necessarie per esportare i dati

Per accedere ai dati BigQuery, esegui le query all'interno di BigQuery. Assegna i seguenti ruoli IAM a qualsiasi utente che necessita dell'accesso:

Avviare l'esportazione dei dati BigQuery nel tuo progetto autogestito

  1. Crea un Google Cloud progetto in cui vuoi esportare i dati. Per saperne di più, vedi Configurare un progetto Google Cloud per Google SecOps.

  2. Collega il progetto autogestito all'istanza Google SecOps per stabilire una connessione tra Google SecOps e il progetto autogestito. Per saperne di più, consulta Collegare Google Security Operations ai servizi Google Cloud . Puoi anche attivare e configurare la funzionalità Bring Your Own BigQuery (BYOBQ) selezionando Impostazioni SIEM > Esportazione dati.

  3. Per verificare che i dati vengano esportati nel progetto autogestito, controlla le tabelle nel set di dati datalake in BigQuery.

Puoi scrivere query ad hoc sui dati di Google SecOps archiviati nelle tabelle BigQuery. Puoi anche creare analisi più avanzate utilizzando altri strumenti di terze parti integrati con BigQuery.

Tutte le risorse create nel progetto Google Cloud autogestito per abilitare le esportazioni, inclusi il bucket Cloud Storage e le tabelle BigQuery, si trovano nella stessa regione di Google SecOps.

Se ricevi un errore come Unrecognized name: <field_name> at [<some_number>:<some_number>] quando esegui una query BigQuery, significa che il campo a cui stai tentando di accedere non è nel tuo set di dati e perché lo schema viene generato dinamicamente durante il processo di esportazione.

Per ulteriori informazioni sui dati di Google SecOps in BigQuery, consulta Dati di Google SecOps in BigQuery.

Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.