Dati di Google Security Operations in BigQuery

Supportato in:

Google Security Operations fornisce un data lake gestito di telemetria normalizzata e arricchita con informazioni sulle minacce esportando i dati in BigQuery. In questo modo, puoi:

  • Esegui query ad hoc direttamente in BigQuery.
  • Utilizza i tuoi strumenti di business intelligence, come Looker o Microsoft Power BI, per creare dashboard, report e analisi.
  • Unisci i dati di Google Security Operations con set di dati di terze parti.
  • Esegui analisi utilizzando strumenti di data science o machine learning.
  • Esegui report utilizzando dashboard predefinite e personalizzate.

Google Security Operations esporta le seguenti categorie di dati in BigQuery:

  • Record di eventi UDM: record UDM creati dai dati dei log importati dai clienti. Questi record sono arricchiti con informazioni sull'alias.
  • Corrispondenze delle regole (rilevamenti): istanze in cui una regola corrisponde a uno o più eventi.
  • Corrispondenze IoC: elementi (ad esempio domini, indirizzi IP) di eventi che corrispondevano ai feed di indicatori di compromissione (IoC). Sono incluse le corrispondenze con i feed globali e i feed specifici per i clienti.
  • Metriche di importazione:includono statistiche, come il numero di righe di log importate, il numero di eventi generati dai log, il numero di errori nei log che indicano che non è stato possibile analizzare i log e lo stato dei forwarder di Google Security Operations. Per ulteriori informazioni, consulta lo schema BigQuery delle metriche di importazione.
  • Grafo delle entità e relazioni tra entità: memorizza la descrizione delle entità e delle relative relazioni con altre entità.

Flusso di esportazione dei dati

Il flusso di esportazione dei dati è il seguente:

  1. Un insieme di dati di Google Security Operations, specifico per un caso d'uso, viene esportato in un'istanza BigQuery esistente in un progetto Google Cloud specifico del cliente e gestito da Google. I dati relativi a ciascun caso d'uso vengono esportati in una tabella separata. Questi dati vengono esportati da Google Security Operations a BigQuery in un progetto specifico per il cliente.
  2. Nell'ambito dell'esportazione, Google Security Operations crea un modello dei dati di Looker predefinito per ogni caso d'uso.
  3. Le dashboard predefinite di Google Security Operations vengono create utilizzando i modelli di dati di Looker predefiniti. Puoi creare dashboard personalizzate in Google Security Operations utilizzando i modelli di dati di Looker predefiniti.
  4. I clienti possono scrivere query ad hoc sui dati di Google Security Operations archiviati nelle tabelle BigQuery.

  5. I clienti possono anche creare analisi più avanzate utilizzando altri strumenti di terze parti integrati con BigQuery.

    Esportazione dei dati da elaborare in BigQuery

L'istanza BigQuery viene creata nella stessa regione del tenant Google Security Operations. Viene creata un'istanza BigQuery per ogni ID cliente. I log non elaborati non vengono esportati nel data lake di Google Security Operations in BigQuery. I dati vengono esportati in base al riempimento in avanti. Quando i dati vengono importati e normalizzati in Google Security Operations, vengono esportati in BigQuery. Non puoi eseguire il backfill dei dati acquisiti in precedenza. Il periodo di conservazione dei dati in tutte le tabelle BigQuery è di 365 giorni.

Per le connessioni di Looker, contatta il rappresentante di Google Security Operations per richiedere le credenziali dell'account di servizio che ti consentono di collegare l'istanza di Looker ai dati di Google Security Operations in BigQuery. L'account di servizio avrà l'autorizzazione di sola lettura.

Panoramica delle tabelle

Google Security Operations crea il set di dati datalake in BigQuery e le seguenti tabelle:

  • entity_enum_value_to_name_mapping: per i tipi enumerati nella tabella entity_graph, mappa i valori numerici ai valori di stringa.
  • entity_graph: memorizza i dati sulle entità UDM.
  • events: memorizza i dati sugli eventi UDM.
  • ingestion_metrics: memorizza le statistiche relative all'importazione e alla normalizzazione dei dati da specifiche sorgenti di importazione, come i forwarder di Google Security Operations, i feed e l'API Ingestion.
  • ioc_matches: memorizza le corrispondenze IOC trovate in base agli eventi UDM.
  • job_metadata: una tabella interna utilizzata per monitorare l'esportazione dei dati in BigQuery.
  • rule_detections: memorizza i rilevamenti restituiti dalle regole eseguite in Google Security Operations.
  • rulesets: memorizza le informazioni sui rilevamenti selezionati di Google Security Operations, tra cui la categoria a cui appartiene ogni insieme di regole, se è attivato e lo stato attuale degli avvisi.
  • udm_enum_value_to_name_mapping: per i tipi enumerati nella tabella degli eventi, mappa i valori numerici ai valori di stringa.
  • udm_events_aggregates: memorizza i dati aggregati riassunti per ora degli eventi normalizzati.

Accedere ai dati in BigQuery

Puoi eseguire query direttamente in BigQuery o collegare il tuo strumento di business intelligence, come Looker o Microsoft Power BI, a BigQuery.

Per abilitare l'accesso all'istanza BigQuery, utilizza la CLI di Google Security Operations o l'API di accesso BigQuery di Google Security Operations. Puoi fornire un indirizzo email di un utente o di un gruppo di tua proprietà. Se configurerai l'accesso a un gruppo, utilizzalo per gestire i membri del team che possono accedere all'istanza BigQuery.

Per collegare Looker o un altro strumento di business intelligence a BigQuery, contatta il tuo rappresentante di Google Security Operations per richiedere le credenziali dell'account di servizio che ti consentano di collegare un'applicazione al set di dati BigQuery di Google Security Operations. L'account di servizio avrà il ruolo Visualizzatore dati BigQuery IAM (roles/bigquery.dataViewer) e il ruolo Visualizzatore job BigQuery (roles/bigquery.jobUser).

Passaggi successivi