Questa guida mostra come utilizzare Sensitive Data Protection per ispezionare una tabella BigQuery e inviare i risultati dell'ispezione a Data Catalog.
Puoi anche eseguire la profilazione dei dati, che è diversa da un'operazione di ispezione. Puoi anche inviare profili dei dati a Dataplex Universal Catalog. Per saperne di più, consulta Tagga le tabelle in Dataplex Universal Catalog in base agli approfondimenti dei profili dei dati.
Data Catalog è un servizio di gestione dei metadati scalabile che ti consente di scoprire, gestire e comprendere rapidamente tutti i tuoi dati in Google Cloud.
Sensitive Data Protection è integrato in Data Catalog. Quando utilizzi un'azione di Sensitive Data Protection per ispezionare le tue tabelle BigQuery alla ricerca di dati sensibili, può inviare i risultati direttamente a Data Catalog sotto forma di modello di tag.
Completando i passaggi di questa guida, potrai:
- Abilita Data Catalog e Sensitive Data Protection.
- Configura Sensitive Data Protection per ispezionare una tabella BigQuery.
- Configura un'ispezione di Sensitive Data Protection per inviare i risultati dell'ispezione a Data Catalog.
Per saperne di più su Data Catalog, consulta la documentazione di Data Catalog.
Se vuoi inviare i risultati delle operazioni di profilazione dei dati, non dei job di ispezione, a Dataplex Universal Catalog, consulta la documentazione relativa alla profilazione di un'organizzazione, una cartella o un progetto.
Costi
In questo documento utilizzi i seguenti componenti fatturabili di Google Cloud:
- Sensitive Data Protection
- BigQuery
Per generare una stima dei costi in base all'utilizzo previsto,
utilizza il calcolatore prezzi.
Prima di iniziare
Prima di poter inviare i risultati dell'ispezione di Sensitive Data Protection a Data Catalog, procedi nel seguente modo:
- Passaggio 1: configura la fatturazione.
- Passaggio 2: crea un nuovo progetto e compila una nuova tabella BigQuery. (Facoltativo)
- Passaggio 3: attiva Data Catalog.
- Passaggio 4: abilita Sensitive Data Protection.
Le seguenti sottosezioni trattano in dettaglio ogni passaggio.
Passaggio 1: configura la fatturazione
Se non ne hai già uno, devi prima configurare un account di fatturazione.
Scopri come attivare la fatturazione
(Facoltativo) Passaggio 2: crea un nuovo progetto e compila una nuova tabella BigQuery
Se stai configurando questa funzionalità per il lavoro di produzione o hai già una tabella BigQuery che vuoi esaminare, apri il progettoGoogle Cloud che contiene la tabella e vai al passaggio 3.
Se stai provando questa funzionalità e vuoi esaminare i dati di test, crea un nuovo progetto. Per completare questo passaggio, devi avere il ruolo IAM Creatore progetto. Scopri di più sui ruoli IAM.
- Vai alla pagina Nuovo progetto nella console Google Cloud .
- Nell'elenco a discesa Account di fatturazione, seleziona l'account di fatturazione a cui deve essere addebitato il progetto.
- Nell'elenco a discesa Organizzazione, seleziona l'organizzazione in cui vuoi creare il progetto.
- Nell'elenco a discesa Posizione, seleziona l'organizzazione o la cartella in cui vuoi creare il progetto.
- Fai clic su Crea per creare il progetto.
Poi scarica e archivia i dati di esempio:
- Vai al repository dei tutorial di Cloud Run Functions su GitHub.
- Seleziona uno dei file CSV con dati di esempio e scaricalo.
- Poi, vai a BigQuery nella console Google Cloud .
- Seleziona il progetto.
- Fai clic su Crea set di dati.
- Fai clic su Crea tabella.
- Fai clic su Carica e seleziona il file che vuoi caricare.
- Assegna un nome alla tabella, quindi fai clic su Crea tabella.
Passaggio 3: attiva Data Catalog
Successivamente, abilita Data Catalog per il progetto che contiene la tabella BigQuery che vuoi esaminare utilizzando Sensitive Data Protection.
Per attivare Data Catalog utilizzando la console Google Cloud :
- Registra la tua applicazione per Data Catalog.
- Nella pagina di registrazione, seleziona il progetto da utilizzare con Data Catalog dall'elenco a discesa Crea un progetto.
- Dopo aver selezionato il progetto, fai clic su Continua.
Data Catalog è ora abilitato per il tuo progetto.
Passaggio 4: abilita Sensitive Data Protection
Abilita Sensitive Data Protection per lo stesso progetto per cui hai abilitato Data Catalog.
Per abilitare Sensitive Data Protection utilizzando la console Google Cloud :
- Registra la tua applicazione per Sensitive Data Protection.
- Nella pagina di registrazione, dall'elenco a discesa Crea un progetto, seleziona lo stesso progetto scelto nel passaggio precedente.
- Dopo aver selezionato il progetto, fai clic su Continua.
Sensitive Data Protection è ora abilitato per il tuo progetto.
Configura ed esegui un job di ispezione di Sensitive Data Protection
Puoi configurare ed eseguire un job di ispezione Sensitive Data Protection utilizzando la console Google Cloud o l'API DLP.
I modelli di tag Data Catalog vengono archiviati nello stesso progetto e nella stessa regione della tabella BigQuery. Se stai esaminando una tabella di un altro progetto, devi concedere il ruolo Proprietario TagTemplate Data Catalog (roles/datacatalog.tagTemplateOwner
) all'agente di servizio Sensitive Data Protection nel progetto in cui esiste la tabella BigQuery.
Console Google Cloud
Per configurare un job di ispezione di una tabella BigQuery utilizzando Sensitive Data Protection:
Nella sezione Sensitive Data Protection della console Google Cloud , vai alla pagina Crea job o trigger di job.
Inserisci le informazioni sul job Sensitive Data Protection e fai clic su Continua per completare ogni passaggio:
Per il passaggio 1: scegli i dati di input, assegna un nome al job inserendo un valore nel campo Nome. In Posizione, scegli BigQuery dal menu Tipo di archiviazione, quindi inserisci le informazioni per la tabella da esaminare. La sezione Campionamento è preconfigurata per eseguire un'ispezione a campione dei tuoi dati. Puoi modificare i campi Limita righe per e Numero massimo di righe per risparmiare risorse se hai una grande quantità di dati. Per maggiori dettagli, vedi Scegliere i dati di input.
(Facoltativo) Nel passaggio 2: configura il rilevamento, configuri i tipi di dati da cercare, chiamati "infoTypes". Ai fini di questa procedura dettagliata, mantieni selezionati i tipi di informazioni predefiniti. Per maggiori dettagli, vedi Configurare il rilevamento.
Per il passaggio 3: aggiungi azioni, attiva Salva in Data Catalog.
(Facoltativo) Per il passaggio 4: pianifica, ai fini di questa procedura dettagliata, lascia il menu impostato su Nessuno in modo che l'ispezione venga eseguita una sola volta. Per scoprire di più sulla pianificazione di lavori di ispezione ricorrenti, consulta la sezione Pianificazione.
Fai clic su Crea. Il job viene eseguito immediatamente.
DLP API
In questa sezione, configurerai ed eseguirai un job di ispezione di Sensitive Data Protection.
Il job di ispezione che configuri qui indica a Sensitive Data Protection di ispezionare i dati BigQuery di esempio descritti nel passaggio 2 precedente o i tuoi dati BigQuery. La configurazione del job che specifichi è anche il punto in cui indichi a Sensitive Data Protection di salvare i risultati dell'ispezione in Data Catalog.
Passaggio 1: annota l'identificatore del progetto
Vai alla Google Cloud console.
Fai clic su Seleziona.
Nell'elenco a discesa Seleziona da, seleziona l'organizzazione per cui hai attivato Data Catalog.
In ID, copia l'ID progetto del progetto che contiene i dati che vuoi esaminare. Si tratta del progetto descritto nel passaggio Imposta repository di archiviazione più sopra in questa pagina.
Nella sezione Nome, fai clic sul progetto per selezionarlo.
Passaggio 2: apri Explorer API e configura il job
Vai a API Explorer nella pagina di riferimento per il metodo
dlpJobs.create
. Per mantenere disponibili queste istruzioni, fai clic con il tasto destro del mouse sul seguente link e aprilo in una nuova scheda o finestra:Nella casella parent, inserisci quanto segue, dove project-id è l'ID progetto che hai annotato in precedenza nel passaggio precedente:
projects/project-id
Poi copia il seguente JSON. Seleziona i contenuti del campo Corpo richiesta in Explorer API, quindi incolla il codice JSON per sostituire i contenuti. Assicurati di sostituire i segnaposto
project-id
,bigquery-dataset-name
ebigquery-table-name
con l'ID progetto e i nomi del set di dati e della tabella BigQuery effettivi, rispettivamente.{ "inspectJob": { "storageConfig": { "bigQueryOptions": { "tableReference": { "projectId": "project-id", "datasetId": "bigquery-dataset-name", "tableId": "bigquery-table-name" } } }, "inspectConfig": { "infoTypes": [ { "name": "EMAIL_ADDRESS" }, { "name": "PERSON_NAME" }, { "name": "US_SOCIAL_SECURITY_NUMBER" }, { "name": "PHONE_NUMBER" } ], "includeQuote": true, "minLikelihood": "UNLIKELY", "limits": { "maxFindingsPerRequest": 100 } }, "actions": [ { "publishFindingsToCloudDataCatalog": {} } ] } }
Per saperne di più sulle opzioni di ispezione disponibili, vedi Ispezione dello spazio di archiviazione e dei database per l'individuazione di dati sensibili. Per un elenco completo dei tipi di informazioni che Sensitive Data Protection può ispezionare, consulta Riferimento agli infoType.
Passaggio 3: esegui la richiesta per avviare il job di ispezione
Dopo aver configurato il job seguendo i passaggi precedenti, fai clic su Esegui per inviare la richiesta. Se la richiesta riesce, viene visualizzata una risposta con un codice di esito positivo e un oggetto JSON che indica lo stato del job Sensitive Data Protection che hai appena creato.
La risposta alla tua richiesta di ispezione include l'ID job del job di ispezione come chiave "name"
e lo stato attuale del job di ispezione come chiave "state"
. Poiché hai appena inviato la richiesta, lo stato del job in quel momento è "PENDING"
.
Controlla lo stato del job di ispezione di Sensitive Data Protection
Dopo l'invio della richiesta di ispezione, il job di ispezione inizia immediatamente.
Console Google Cloud
Per controllare lo stato del job di ispezione:
Nella console Google Cloud , apri Sensitive Data Protection.
Fai clic sulla scheda Job e trigger di job e poi su Tutti i job.
Il job appena eseguito si troverà probabilmente in cima all'elenco. Controlla la colonna Stato per assicurarti che lo stato sia Fine.
Puoi fare clic sull'ID job del job per visualizzarne i risultati. Ogni rilevatore infoType elencato nella pagina Dettagli job è seguito dal numero di corrispondenze trovate nei contenuti.
DLP API
Per controllare lo stato del job di ispezione:
Vai a Explorer API nella pagina di riferimento per il metodo
dlpJobs.get
facendo clic sul pulsante seguente:Nella casella name, digita il nome del job dalla risposta JSON alla richiesta di ispezione nel seguente formato:
L'ID job è nel formatoprojects/project-id/dlpJobs/job-id
i-1234567890123456789
.Per inviare la richiesta, fai clic su Esegui.
Se la chiave "state"
dell'oggetto JSON della risposta indica che il job è "DONE"
,
allora il job di ispezione è terminato.
Per visualizzare il resto della risposta JSON, scorri verso il basso la pagina. In "result"
>
"infoTypeStats"
, ogni tipo di informazione elencato deve avere un
"count"
corrispondente. In caso contrario, assicurati di aver inserito correttamente il JSON e che il percorso o la posizione dei dati siano corretti.
Una volta completato il job di ispezione, puoi continuare con la sezione successiva di questa guida per visualizzare i risultati dell'ispezione in Security Command Center.
Visualizzare i risultati dell'ispezione di Sensitive Data Protection in Data Catalog
Poiché hai chiesto a Sensitive Data Protection di inviare i risultati del job di ispezione a Data Catalog, ora puoi visualizzare i tag e il modello di tag creati automaticamente nell'interfaccia utente di Data Catalog:
- Vai alla pagina Data Catalog nella console Google Cloud .
- Cerca la tabella che hai esaminato.
- Fai clic sui risultati che corrispondono alla tua tabella per visualizzare i metadati della tabella.
Lo screenshot seguente mostra la visualizzazione dei metadati di Data Catalog di una tabella di esempio:

Riepilogo ispezione
I risultati di Sensitive Data Protection sono inclusi in forma riepilogativa per la tabella che hai ispezionato. Questo riepilogo include i conteggi totali di infoType, nonché dati riepilogativi sul job di ispezione che includono date e ID risorsa job.
Vengono elencati tutti i infoTypes
ispezionati. Quelli con risultati mostrano un
conteggio maggiore di zero.
Pulizia
Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo argomento, esegui una delle seguenti operazioni, a seconda che tu abbia utilizzato dati di esempio o i tuoi dati:
- Dati di esempio: elimina il progetto che hai creato.
- I tuoi dati: elimina il job di Sensitive Data Protection che hai creato.
Elimina il progetto
Il modo più semplice per eliminare la fatturazione è eliminare il progetto che hai creato seguendo le istruzioni fornite in questo argomento.
Per eliminare il progetto:
- Nella console Google Cloud , vai alla pagina Progetti.
-
Nell'elenco dei progetti, seleziona quello da eliminare e fai clic su Elimina progetto.
- Nella finestra di dialogo, digita l'ID progetto, quindi fai clic su Chiudi per eliminare il progetto.
Quando elimini il progetto utilizzando questo metodo, vengono eliminati anche il job Sensitive Data Protection e il bucket Cloud Storage che hai creato. Non è necessario seguire le istruzioni riportate nelle sezioni seguenti.
Eliminazione del job o del trigger del job Sensitive Data Protection
Se hai esaminato i tuoi dati, elimina il job di ispezione o l'attivatore di job che hai appena creato.
Console Google Cloud
Nella console Google Cloud , apri Sensitive Data Protection.
Fai clic sulla scheda Job e trigger di job e poi sulla scheda Trigger di job.
Nella colonna Azioni relativa al trigger di job da eliminare, fai clic sul menu Altre azioni (visualizzato come tre puntini disposti in verticale)
e poi su Elimina.
Se vuoi, puoi anche eliminare i dettagli del job che hai eseguito. Fai clic sulla scheda Tutti i job, quindi nella colonna Azioni relativa al job da eliminare, fai clic sul menu Altre azioni (visualizzato come tre puntini disposti in verticale)
e poi su Elimina.DLP API
Vai a Explorer API nella pagina di riferimento per il metodo
dlpJobs.delete
facendo clic sul pulsante seguente:Nella casella name, digita il nome del job dalla risposta JSON alla richiesta di ispezione, che ha il seguente formato:
L'ID job è nel formatoprojects/project-id/dlpJobs/job-id
i-1234567890123456789
.
Se hai creato ulteriori job di ispezione o se vuoi assicurarti di aver eliminato il job correttamente, puoi elencare tutti i job esistenti:
Vai a Explorer API nella pagina di riferimento per il metodo
dlpJobs.list
facendo clic sul pulsante seguente:Nella casella parent, digita l'identificatore del progetto nel seguente formato, dove project-id è l'identificatore del progetto:
projects/project-id
Fai clic su Esegui.
Se nella risposta non sono elencati job, significa che li hai eliminati tutti. Se nella risposta sono elencati dei lavori, ripeti la procedura di eliminazione descritta sopra per questi lavori.
Passaggi successivi
- Scopri di più sull'
publishFindingsToCloudDataCatalog
azione in Sensitive Data Protection. - Scopri di più sulla creazione di tag personalizzati o a livello di colonna in Data Catalog in base ai risultati di Sensitive Data Protection.
- Scopri di più sull'ispezione dei repository di archiviazione per l'individuazione di dati sensibili utilizzando Sensitive Data Protection.
- Scopri come utilizzare Data Catalog.