Creare e gestire i feed utilizzando l'interfaccia utente di gestione dei feed

Questo documento fornisce informazioni su come creare, gestire e risolvere i problemi relativi ai feed utilizzando l'interfaccia utente di gestione dei feed. La gestione dei feed include la modifica, l'attivazione e l'eliminazione dei feed.

Prima di iniziare

Ogni feed di dati ha un proprio insieme di prerequisiti che devono essere completati prima di configurare il feed in Google Security Operations. Per informazioni sui prerequisiti specifici per un tipo di feed, consulta Configurazione per tipo di origine. Cerca il tipo di feed di dati da configurare e segui le istruzioni fornite.

Formati di compressione supportati

I formati di compressione supportati per l'importazione dei feed includono: .gz, .tar.gz, .tar, .targz e solr.gz. La seguente tabella illustra i diversi dimensioni dei file supportati dalla trasformazione dei feed Google SecOps:

Aggiungere un feed

Per aggiungere un feed al tuo account Google SecOps:

1. Nel menu Google SecOps, seleziona Impostazioni e poi fai clic su Feed. I feed di dati elencati nella pagina Feed includono tutti i feed configurati da Google per il tuo account, oltre a quelli configurati da te.

2. Fai clic su Add New (Aggiungi nuovo). Viene visualizzata la finestra Aggiungi feed.

3. Aggiungi un nome al feed.

4. Nell'elenco Tipo di origine, seleziona il tipo di origine per l'importazione dei dati in Google SecOps. Puoi scegliere tra i seguenti tipi di origini feed:

   • Amazon Data Firehose
   • Amazon S3
   • Amazon S3 (anteprima)
   • Amazon SQS
   • Amazon SQS (anteprima)
   • Azure Blob Storage
   • Azure Blob Storage (anteprima)
   • Google Cloud Pub/Sub
   • Cloud Storage
   • Cloud Storage (anteprima)
   • File HTTP(S) (non API)
   • API di terze parti
   • Webhook

5. Nell'elenco Tipo di log, seleziona il tipo di log corrispondente a quelli che vuoi importare. I log disponibili variano in base al tipo di origine selezionato in precedenza.

   Se selezioni Cloud Storage come tipo di origine, utilizza l'opzione Genera account di servizio per ottenere un account di servizio univoco. Consulta l'esempio di configurazione del feed di Google Cloud Storage.

6. Fai clic su Avanti.

7. Specifica i parametri necessari dalla scheda Parametri di input. Le opzioni presentate qui variano in base alla sorgente e al tipo di log selezionati nella scheda Imposta proprietà. Passa il mouse sopra l'icona a forma di punto interrogativo per ciascun campo per visualizzare ulteriori informazioni su cosa devi fornire.

8. (Facoltativo) Puoi specificare uno spazio dei nomi nella scheda Imposta proprietà. Per saperne di più sugli spazi dei nomi, consulta Gestire gli spazi dei nomi delle risorse.

9. Fai clic su Avanti.

10. Rivedi la configurazione del nuovo feed nella scheda Concludi.

11. Fai clic su Invia. Google SecOps completa un controllo di convalida del nuovo feed. Se il feed supera il controllo, viene generato un nome per il feed, che viene inviato a Google SecOps, che inizia a tentare di recuperare i dati.

    

Esempio di configurazione del feed Google Cloud Storage

1. Nel menu Google SecOps, seleziona Impostazioni e poi fai clic su Feed.
2. Fai clic su Add New (Aggiungi nuovo).
3. Seleziona Cloud Storage per Tipo di origine.
4. Seleziona il Tipo di log. Ad esempio, per creare un feed per gli audit log di Google Kubernetes Engine, seleziona Audit log di Google Kubernetes Engine come Tipo di log.
5. Fai clic su Ottieni account di servizio. Google SecOps fornisce un account di servizio unico utilizzato da Google SecOps per importare i dati.
6. (Facoltativo) Configura l'account di servizio.Per ulteriori informazioni, consulta Concedere l'accesso all'account di servizio Google SecOps.
7. Fai clic su Avanti.

8. In base alla configurazione di Cloud Storage che hai creato, specifica i valori per i seguenti campi:

   • URI del bucket di archiviazione
   • L'URI è un
   • Opzione di eliminazione dell'origine

   Per scoprire di più su come configurare i bucket Cloud Storage, consulta Creare bucket.

9. Fai clic su Avanti e poi su Invia.

Lista consentita IP

Storage Transfer Service (STS) viene utilizzato dai seguenti feed Google Cloud Storage per trasferire i dati dai blobstore Amazon S3 e Azure Storage a Google SecOps:

• Amazon S3 (anteprima)
• Amazon SQS (anteprima)
• Azure Blob Storage (anteprima)

STS invia richieste di trasferimento dati ai servizi di archiviazione Amazon S3 e Azure da un insieme di intervalli di indirizzi IP STS definiti. Questi intervalli di indirizzi IP di STS sono pubblicati nel seguente file JSON: https://www.gstatic.com/storage-transfer-service/ipranges.json

Per utilizzare questi tipi di origini feed STS, potrebbe essere necessario attivare l'accesso ai blobstore Amazon S3 e Azure Storage per le query provenienti da un indirizzo IP definito negli intervalli di indirizzi IP STS.

Attivare l'accesso STS ai servizi di archiviazione Amazon S3 e Azure

Potresti dover modificare le restrizioni di accesso IP per consentire a STS di accedere ai tuoi servizi di archiviazione Amazon S3 e Azure:

1. Estrai gli intervalli IP più recenti dal file JSON.

   Ti consigliamo di leggere i dati di questo file JSON almeno una volta alla settimana per mantenere aggiornata la configurazione di sicurezza. Quando viene aggiunto un nuovo intervallo al file, il sistema attende almeno 7 giorni prima di utilizzarlo per le richieste da STS.

   Per uno script Python di esempio che recupera gli intervalli IP da un file JSON, consulta Indirizzi IP per i domini predefiniti.

2. Confronta l'intervallo IP creationTime corrente con l'intervallo IP creationTime letto dal file JSON precedente. Se sono diversi, aggiorna le limitazioni di accesso IP nei blobstore Amazon S3 e Azure Storage.

   • Per Amazon S3

     Per aggiornare le restrizioni di accesso IP nel tuo blobstore Amazon S3:

     Se il tuo progetto AWS utilizza limitazioni IP per l'accesso allo spazio di archiviazione, devi aggiungere gli intervalli IP utilizzati dai worker STS all'elenco di IP consentiti.

     Per aggiungere questi intervalli come IP consentiti, utilizza il campo Condition in un bucket policy, come descritto nella documentazione di AWS S3: Gestire l'accesso in base ad indirizzi IP specifici.

   • Per Azure Storage

     Per aggiornare le restrizioni di accesso IP nel tuo blobstore di Azure Storage:

     Se limiti l'accesso alle risorse Azure utilizzando un firewall di Azure Storage, devi aggiungere gli intervalli IP utilizzati dai worker STS all'elenco di IP consentiti.

     Per aggiungere questi intervalli come IP consentiti, segui queste istruzioni: Configura i firewall e le reti virtuali di Azure Storage.

Eliminare i file di origine

L'opzione di eliminazione dell'origine ti consente di eliminare gli oggetti dell'origine del feed (file e cartelle) dallo spazio di archiviazione dopo un trasferimento riuscito. Questa opzione è disponibile solo per alcuni tipi di origini feed, tra cui Cloud Storage. Questi tipi di origini feed includono il campo SOURCE DELETION OPTION nei flussi di lavoro Aggiungi nuovo e Modifica feed.

Opzioni di eliminazione delle origini

• Per i tipi di origini feed supportati, tra cui Cloud Storage, il campo SOURCE DELETION OPTION (OPZIONE DI ELIMINAZIONE ORIGINE) offre le seguenti opzioni:

  • Non eliminare mai i file
  • Eliminare i file trasferiti e le directory vuote
  • Eliminare i file trasferiti

• Microsoft Azure Blob Storage (AZURE_BLOBSTORE) non supporta l'eliminazione dei file di origine. Per il campo OPZIONE DI ELIMINAZIONE ORIGINE, seleziona solo l'opzione Non eliminare mai i file.

• Per le seguenti origini feed ("feedSourceType"): GOOGLE_CLOUD_STORAGE_V2, AMAZON_S3_V2, AMAZON_SQS_V2 e AZURE_BLOBSTORE_V2, il campo SOURCE DELETION OPTION (OPZIONE DI ELIMINAZIONE ORIGINE) offre due opzioni:

  • MAI: non vengono mai eliminati file dopo i trasferimenti.
  • ON_SUCCESS: elimina tutti i file e le directory vuote dopo il trasferimento.

Configurare un feed push Pub/Sub

Per configurare un feed push Pub/Sub:

1. Crea un feed push Pub/Sub.
2. Specifica l'URL dell'endpoint in una sottoscrizione Pub/Sub.

Creare un feed push Pub/Sub

1. Nel menu Google SecOps, seleziona Impostazioni e poi fai clic su Feed.
2. Fai clic su Aggiungi nuovo.
3. Nel campo Nome feed, inserisci un nome per il feed.
4. Nell'elenco Tipo di origine, seleziona Push Pub/Sub di Google Cloud.
5. Seleziona il Tipo di log. Ad esempio, per creare un feed per Open Cybersecurity Schema Framework, seleziona Open Cybersecurity Schema Framework (OCSF) come Tipo di log.
6. Fai clic su Avanti.
7. (Facoltativo) Specifica i valori per i seguenti parametri di input:
   • Delimitatore di split: il delimitatore utilizzato per separare le righe di log, ad esempio \n.
   • Spazio dei nomi dell'asset: lo spazio dei nomi dell'asset.
   • Etichette di importazione: l'etichetta da applicare agli eventi di questo feed.
8. Fai clic su Avanti.
9. Rivedi la configurazione del nuovo feed nella schermata Concludi e poi fai clic su Invia.
10. Dalla scheda Dettagli, copia l'URL dell'endpoint del feed dal campo Informazioni endpoint. Questo URL dell'endpoint è necessario per creare una sottoscrizione push in Pub/Sub.
11. (Facoltativo) Fai clic sull'opzione Feed abilitato per disattivare il feed. Il feed è attivo per impostazione predefinita.
12. Fai clic su Fine.

Specifica l'URL dell'endpoint

Dopo aver creato un feed push Pub/Sub, specifica l'URL dell'endpoint come segue: In Pub/Sub, crea una sottoscrizione push e specifica l'endpoint HTTPS. Seleziona Abilita l'autenticazione e un account di servizio.

1. Crea una sottoscrizione push in Pub/Sub. Per ulteriori informazioni su come creare una sottoscrizione push, consulta Creare sottoscrizioni push.
2. Specifica l'URL dell'endpoint, disponibile nel Google Cloud feed push Pub/Sub.
3. Seleziona Abilita l'autenticazione e seleziona un account di servizio.

Configurare un feed Amazon Data Firehose

Per configurare un feed Amazon Data Firehose:

1. Crea un feed Amazon Data Firehose e copia l'URL dell'endpoint e la chiave segreta.
2. Crea una chiave API per autenticarti in Google SecOps. Puoi anche riutilizzare la chiave API esistente per autenticarti in Google SecOps.
3. Specifica l'URL dell'endpoint in Amazon Data Firehose.

Crea un feed Amazon Data Firehose

1. Nel menu Google SecOps, seleziona Impostazioni e poi fai clic su Feed.
2. Fai clic su Aggiungi nuovo.
3. Nel campo Nome feed, inserisci un nome per il feed.
4. Nell'elenco Tipo di origine, seleziona Amazon Data Firehose.
5. Seleziona il Tipo di log. Ad esempio, per creare un feed per Open Cybersecurity Schema Framework, seleziona Open Cybersecurity Schema Framework (OCSF) come Tipo di log.
6. Fai clic su Avanti.
7. (Facoltativo) Specifica i valori per i seguenti parametri di input:
   • Delimitatore di split: il delimitatore utilizzato per separare le righe di log, ad esempio \n.
   • Spazio dei nomi dell'asset: lo spazio dei nomi dell'asset.
   • Etichette di importazione: l'etichetta da applicare agli eventi di questo feed.
8. Fai clic su Avanti.
9. Rivedi la configurazione del nuovo feed nella schermata Concludi e poi fai clic su Invia.
10. Fai clic su Genera chiave segreta per generare una chiave segreta per autenticare questo feed.
11. Copia e memorizza la chiave segreta perché non potrai più visualizzarla. Puoi generare nuovamente una nuova chiave segreta, ma la rigenerazione della chiave segreta rende obsoleta la chiave segreta precedente.
12. Nella scheda Dettagli, copia l'URL dell'endpoint del feed dal campo Informazioni endpoint. Questo URL dell'endpoint è necessario quando specifichi le impostazioni di destinazione per lo stream di importazione in Amazon Data Firehose.
13. (Facoltativo) Fai clic sull'opzione Feed abilitato per disattivare il feed. Il feed è attivo per impostazione predefinita.
14. Fai clic su Fine.

Crea una chiave API per il feed Amazon Data Firehose

Per creare una chiave API per il feed Amazon Data Firehose: 1. Vai alla pagina Credenziali della console Google Cloud. 1. Fai clic su Crea credenziali e poi seleziona Chiave API. 1. Limita l'accesso della chiave API all'API Chronicle.

Specifica l'URL dell'endpoint

In Amazon Data Firehose, specifica l'endpoint HTTPS e la chiave di accesso come segue:

1. Aggiungi la chiave API all'URL dell'endpoint del feed e specifica questo URL come URL dell'endpoint HTTP nel seguente formato:

     ENDPOINT_URL?key=API_KEY
   

   Sostituisci quanto segue:

   • ENDPOINT_URL: l'URL dell'endpoint del feed.
   • API_KEY: la chiave API per l'autenticazione in Google SecOps.

2. Per la chiave di accesso, specifica la chiave segreta ottenuta quando hai creato il feed Amazon Data Firehose.

Configurare un feed webhook HTTPS

Per configurare un feed webhook HTTPS:

1. Crea un feed webhook HTTPS e copia l'URL dell'endpoint e la chiave segreta.
2. Crea una chiave API specificata con l'URL dell'endpoint. Puoi anche riutilizzare la chiave API esistente per autenticarti in Google SecOps.
3. Specifica l'URL dell'endpoint nella tua applicazione.

Prerequisiti

• Assicurati che sia configurato un Google Cloud progetto per Google SecOps e che l'API Chronicle sia abilitata per il progetto.

• Collega un'istanza Google SecOps ai Google Cloud servizi.

Crea un feed webhook HTTPS

1. Nel menu Google SecOps, seleziona Impostazioni e poi fai clic su Feed.
2. Fai clic su Aggiungi nuovo.
3. Nel campo Nome feed, inserisci un nome per il feed.
4. Nell'elenco Tipo di origine, seleziona Webhook.
5. Seleziona il Tipo di log. Ad esempio, per creare un feed per Open Cybersecurity Schema Framework, seleziona Open Cybersecurity Schema Framework (OCSF) come Tipo di log.
6. Fai clic su Avanti.
7. (Facoltativo) Specifica i valori per i seguenti parametri di input:
   • Delimitatore di split: il delimitatore utilizzato per separare le righe di log, ad esempio \n.
   • Spazio dei nomi dell'asset: lo spazio dei nomi dell'asset.
   • Etichette di importazione: l'etichetta da applicare agli eventi di questo feed.
8. Fai clic su Avanti.
9. Rivedi la configurazione del nuovo feed nella schermata Concludi e poi fai clic su Invia.
10. Fai clic su Genera chiave segreta per generare una chiave segreta per autenticare questo feed.
11. Copia e memorizza la chiave segreta perché non potrai più visualizzarla. Puoi generare nuovamente una nuova chiave segreta, ma la rigenerazione della chiave segreta rende obsoleta la chiave segreta precedente.
12. Dalla scheda Dettagli, copia l'URL dell'endpoint del feed dal campo Informazioni endpoint. Devi specificare questo URL dell'endpoint nell'applicazione client.
13. (Facoltativo) Fai clic sull'opzione Feed abilitato per disattivare il feed. Il feed è attivo per impostazione predefinita.
14. Fai clic su Fine.

Crea una chiave API per il feed webhook

1. Vai alla pagina Credenziali della console Google Cloud.
2. Fai clic su Crea credenziali e poi seleziona Chiave API.
3. Limita l'accesso della chiave API all'API Chronicle.

Specifica l'URL dell'endpoint

1. Nell'applicazione client, specifica l'endpoint HTTPS, disponibile nel feed webhook.

2. Attiva l'autenticazione specificando la chiave API e la chiave segreta nell'intestazione personalizzata nel seguente formato:

   X-goog-api-key = API_KEY

   X-Webhook-Access-Key = SECRET

   Ti consigliamo di specificare la chiave API come intestazione anziché nell'URL. Se il client webhook non supporta le intestazioni personalizzate, puoi specificare la chiave API e la chiave segreta utilizzando i parametri di query nel seguente formato:

     ENDPOINT_URL?key=API_KEY&secret=SECRET
   

   Sostituisci quanto segue:

   • ENDPOINT_URL: l'URL dell'endpoint del feed.
   • API_KEY: la chiave API per l'autenticazione in Google SecOps.
   • SECRET: la chiave segreta che hai generato per autenticare il feed.

Concedi l'accesso all'account di servizio Google SecOps

1. Nella console Google Cloud, vai alla pagina Bucket in Cloud Storage.
   

   Vai a Bucket

2. Concedi l'accesso all'account di servizio agli oggetti Cloud Storage pertinenti.

   • Per concedere l'autorizzazione di lettura a un file specifico:

     1. Seleziona il file e fai clic su Modifica accesso.
     2. Fai clic su Aggiungi entità.
     3. Nel campo Nuove entità, inserisci il nome dell'account di servizio Google SecOps.
     4. Assegna un ruolo che contenga l'autorizzazione di lettura all'account di servizio Google SecOps. Ad esempio, Visualizzatore oggetti Storage (roles/storage.objectViewer). Questa operazione può essere eseguita solo se non hai attivato l'accesso uniforme a livello di bucket.
     5. Fai clic su Salva.

   • Per concedere l'autorizzazione di lettura a più file, concedi l'accesso a livello di bucket come segue:

     • Per "feedSourceType": "GOOGLE_CLOUD_STORAGE":
       1. Aggiungi l'account di servizio Google SecOps come principale al tuo bucket di archiviazione e concedigli il ruolo IAM Storage Object Viewer (roles/storage.objectViewer).
       2. Se configuri il feed in modo che elimini i file di origine, devi aggiungere l'account di servizio Google SecOps come entità nel bucket e concedergli il ruolo IAM Amministratore oggetti archiviazione (roles/storage.objectAdmin).
     • Per "feedSourceType": "GOOGLE_CLOUD_STORAGE_V2":
       1. Aggiungi l'account di servizio Google SecOps come principale al tuo bucket di archiviazione e concedigli il ruolo IAM Visualizzatore bucket legacy di archiviazione (roles/storage.legacyBucketViewer).
       2. Se configuri il feed in modo che elimini i file di origine, devi aggiungere l'account di servizio Google SecOps come entità nel bucket e concedergli il ruolo IAM Storage Legacy Bucket Writer (roles/storage.legacyBucketWriter).

Configurazione dei Controlli di servizio VPC

Se i Controlli di servizio VPC sono abilitati, è necessaria una regola di ingresso per fornire l'accesso al bucket Cloud Storage.

I seguenti metodi Cloud Storage devono essere consentiti nella regola di ingresso:

• google.storage.objects.list. Obbligatorio per un feed di singoli file.
• google.storage.objects.get. Obbligatorio per i feed che richiedono l'accesso a directory o sottodirectory.
• google.storage.objects.delete. Obbligatorio per i feed che richiedono l'eliminazione del file di origine.

Regola in entrata di esempio

- ingressFrom:
  identities:
    - serviceAccount:8911409095528497-0-account@partnercontent.gserviceaccount.com
  sources:
  - accessLevel: "*"
  ingressTo:
  operations:
  - serviceName: storage.googleapis.com
    methodSelectors:
    - method: google.storage.objects.list
    - method: google.storage.objects.get
    - method: google.storage.objects.delete
  resources:
  - projects/PROJECT_ID

Stato del feed

Puoi monitorare lo stato del feed nella pagina iniziale Feed, dove i feed possono avere i seguenti stati:

• Attivo: il feed è configurato e pronto per importare i dati nel tuo account Google SecOps.
• In corso: Google SecOps tenta di estrarre i dati dalla terza parte configurata.
• Completata: i dati sono stati recuperati correttamente da questo feed.
• Archiviato: feed disattivato.

• Non riuscita: il feed non riesce a recuperare i dati. Probabilmente, questo problema è dovuto a un problema di configurazione. Fai clic sulla domanda per visualizzare l'errore di configurazione. Dopo aver corretto l'errore e inviato nuovamente il feed, torna alla pagina Feed per determinare se il feed ora funziona o meno.

Modificare i feed

Nella pagina Feed, puoi modificare un feed esistente nel seguente modo:

1. Tieni il puntatore del mouse sopra un feed esistente e fai clic su more_vert nella colonna a destra.

2. Fai clic su Modifica feed. Ora puoi modificare i parametri di input per il feed e inviarlo di nuovo a Google SecOps, che tenterà di utilizzare il feed aggiornato.

Attivare e disattivare i feed

Nella colonna Stato, i feed attivati sono etichettati come Attivo, In corso, Completato o Non riuscito. I campi disattivati sono etichettati come Archiviati. Per una descrizione, consulta lo stato del feed.

Nella pagina Feed, puoi attivare o disattivare i feed esistenti:

1. Tieni il puntatore del mouse sopra un feed esistente e fai clic su more_vert nella colonna a destra.

2. (Facoltativo) Fai clic sull'opzione Feed abilitato per disattivare il feed.

3. (Facoltativo) Fai clic sull'opzione Disattiva feed per disattivare il feed. Il feed ora è contrassegnato come Archiviato.

Eliminare i feed

Nella pagina Feed puoi anche eliminare un feed esistente:

1. Tieni il puntatore del mouse sopra un feed esistente e fai clic su more_vert nella colonna a destra.

2. Fai clic su Elimina feed. Si apre la finestra ELIMINA FEED. Per eliminare definitivamente il feed, fai clic su Sì, elimina.

Controllare la frequenza di importazione

Quando la frequenza di importazione dei dati per un tenant raggiunge una determinata soglia, Google Security Operations limita la frequenza di importazione dei nuovi feed di dati per impedire a un'origine con una frequenza di importazione elevata di influire sulla frequenza di importazione di un'altra origine dati. In questo caso, si verifica un ritardo, ma non vengono persi dati. La soglia viene determinata dal volume di importazione e dalla cronologia di utilizzo del tenant.

Puoi richiedere un aumento del limite di frequenza contattando l'assistenza clienti Google Cloud.

Risoluzione dei problemi

Nella pagina Feed, puoi visualizzare dettagli come tipo di origine, tipo di log, ID feed e stato dei feed esistenti, come segue:

1. Tieni il puntatore del mouse sopra un feed esistente e fai clic su more_vert nella colonna a destra.

2. Fai clic su Visualizza feed. Viene visualizzata una finestra di dialogo che mostra i dettagli del feed. Per un feed non riuscito, puoi trovare i dettagli dell'errore in Dettagli > Stato.

Per un feed non riuscito, i dettagli includono la causa dell'errore e i passaggi per risolverlo. La tabella seguente descrive i messaggi di errore che potresti riscontrare quando lavori con i feed di dati:

Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.