Questa pagina spiega come aggiungere, eseguire l'upgrade e rimuovere i bucket Cloud Storage e i set di dati BigQuery come asset nelle zone del Catalogo universale Dataplex esistenti.
Panoramica
Un asset viene mappato ai dati archiviati in Cloud Storage o BigQuery. Puoi mappare i dati archiviati in progetti Google Cloud separati come asset in un'unica zona all'interno di un lake. Puoi collegare bucket Cloud Storage o set di dati BigQuery esistenti da gestire all'interno del lake.
Prima di iniziare
Se non l'hai ancora fatto, crea un lake e una zona al suo interno.
La maggior parte dei comandi
gcloud lakesrichiede una località. Puoi specificare la località utilizzando il flag--location.
Ruoli obbligatori
Per rimuovere gli asset, concedi i ruoli IAM contenenti le autorizzazioni IAM
dataplex.lakes.delete,dataplex.zones.deleteodataplex.assets.delete. Per concedere queste autorizzazioni, puoi utilizzare i ruoliroles/dataplex.admineroles/dataplex.editorspecifici del Catalogo universale Dataplex.Per aggiungere asset, concedi i ruoli IAM contenenti le autorizzazioni
create-dataplex.lakes.create,dataplex.zones.createodataplex.assets.create. I ruoliroles/dataplex.admineroles/dataplex.editorcontengono queste autorizzazioni.Puoi anche concedere l'autorizzazione a utenti o gruppi utilizzando i ruoli precedenti
roles/ownereroles/editor.Devi autorizzare il servizio Dataplex Universal Catalog sulle risorse collegate al lago Dataplex Universal Catalog. L'autorizzazione viene concessa automaticamente e implicitamente per le risorse del progetto in cui viene creato il lake. Per altri progetti, autorizza esplicitamente il servizio Dataplex Universal Catalog sulle risorse.
Per ulteriori informazioni, consulta Controllo dell'accesso e IAM di Dataplex Universal Catalog.
Concedi i ruoli per i bucket Cloud Storage
Per collegare un bucket Cloud Storage di un altro progetto al tuo lake, devi assegnare all'account di servizio Dataplex Universal Catalog (service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com, recuperato dalla pagina dei dettagli del lake nella console) il ruolo dell'account di servizio Dataplex Universal Catalog (roles/dataplex.serviceAgent) nel progetto che contiene il bucket. Questo ruolo fornisce al servizio Dataplex Universal Catalog il ruolo di amministratore prerequisito sul bucket in modo che sia possibile impostare le autorizzazioni sul bucket stesso.
Concedi i ruoli per i set di dati BigQuery
Per collegare un set di dati BigQuery di un altro progetto al tuo lake, devi concedere all'account di servizio Dataplex Universal Catalog il ruolo Amministratore BigQuery nel set di dati.
Considerazioni sui Controlli di servizio VPC
Il Catalogo universale Dataplex non viola i perimetri dei Controlli di servizio VPC. Prima di aggiungere una risorsa al lake, assicurati che il bucket o il set di dati di base sia nella stessa rete Controlli di servizio VPC del lake.
Per saperne di più, consulta Controlli di servizio VPC con Dataplex Universal Catalog.
Aggiungi un asset
Se non esiste alcuna sovrapposizione tra la regione del lake del Catalogo universale Dataplex e una delle regioni dei bucket Cloud Storage, non puoi aggiungere il bucket a una zona del lake.
Per scoprire di più sulla località della regione di un asset Cloud Storage e su come Dataplex Universal Catalog gestisce la posizione di un bucket durante la creazione del set di dati di pubblicazione, consulta Risorse regionali.
Per aggiungere un asset:
Console
Nella Google Cloud console, vai alla pagina Catalogo universale Dataplex.
Nella pagina Gestisci, fai clic sul lake a cui vuoi aggiungere un bucket Cloud Storage o un set di dati BigQuery. Si apre la pagina del lago.
Nella scheda Zone, fai clic sul nome della zona di dati a cui vuoi aggiungere l'asset. Viene visualizzata la pagina relativa alla zona di dati.
Nella scheda Asset, fai clic su + Aggiungi asset. Viene visualizzata la pagina Aggiungi asset.
Fai clic su Aggiungi un asset.
Nel campo Tipo, seleziona Set di dati BigQuery o Bucket Cloud Storage.
Nel campo Nome visualizzato, inserisci un nome per la nuova risorsa.
Nel campo ID, inserisci un ID univoco per l'asset.
(Facoltativo) Inserisci una Descrizione.
Nel campo Set di dati o Bucket (in base al tipo di risorsa), fai clic su Sfoglia per trovare e selezionare il bucket Cloud Storage o il set di dati BigQuery.
(Facoltativo) Se il tipo di asset è Bucket Cloud Storage e vuoi che sia Dataplex Universal Catalog a gestire l'asset, seleziona la casella di controllo Esegui l'upgrade a gestito. Se scegli questa opzione, non devi eseguire l'upgrade dell'asset separatamente. Questa opzione non è disponibile per i set di dati BigQuery.
Fai clic su Continua.
Scegli il resto dei valori parametro. Per ulteriori informazioni sulle impostazioni di sicurezza, consulta Sicurezza del lake.
Fai clic su Invia.
Verifica di aver fatto ritorno alla pagina della zona di dati e che il nuovo asset sia visualizzato nell'elenco.
REST
Per aggiungere una risorsa, utilizza il metodo lakes.zones.assets.create.
Se l'aggiunta va a buon fine, la zona di dati passa automaticamente allo stato attivo. In caso di errore, viene eseguito il rollback della zona di dati allo stato precedente corretto.
Eseguire l'upgrade di un asset bucket Cloud Storage
Quando aggiungi una risorsa di tipo bucket Cloud Storage, Dataplex Universal Catalog pubblica automaticamente le tabelle esterne di BigQuery per le tabelle ospitate nella risorsa.
Quando esegui l'upgrade di una risorsa del bucket Cloud Storage, Dataplex Universal Catalog rimuove le tabelle esterne collegate e crea tabelle BigLake. Le tabelle BigLake supportano una sicurezza più granulare, tra cui il mascheramento dei dati a livello di riga, di colonna e dinamico.
Per eseguire l'upgrade di un asset bucket Cloud Storage:
Console
Nella Google Cloud console, vai alla pagina Catalogo universale Dataplex.
Nella pagina Gestisci, fai clic sul nome del lake. Si apre la pagina del lago.
Nella scheda Zone, fai clic sul nome della zona di dati. Viene aperta la pagina della zona di dati.
Nella scheda Asset, fai clic sul nome della risorsa di cui vuoi eseguire l'upgrade.
Fai clic su Esegui l'upgrade a gestito.
REST
Per eseguire l'upgrade di una risorsa del bucket, utilizza il metodo lakes.zones.assets.patch.
Eseguire il downgrade di un asset bucket Cloud Storage
Quando esegui il downgrade di un asset bucket Cloud Storage, Dataplex Universal Catalog rimuove le tabelle BigLake collegate e crea tabelle esterne.
Console
Nella Google Cloud console, vai alla pagina Catalogo universale Dataplex.
Nella pagina Gestisci, fai clic sul nome del lake. Si apre la pagina del lago.
Nella scheda Zone, fai clic sul nome della zona di dati. Viene aperta la pagina della zona di dati.
Nella scheda Asset, fai clic sul nome della risorsa di cui vuoi eseguire l'upgrade.
Fai clic su Esegui il downgrade dalla modalità gestita.
REST
Per eseguire il downgrade di un asset del bucket, utilizza il metodo
lakes.zones.assets.patch. Assicurati di impostare il campo readAccessMode su DIRECT in
ResourceSpec.
Rimuovere un asset
Rimuovi l'asset dalla zona o dal lago di dati prima di collegarlo a un altro.
Per rimuovere un asset:
Console
Nella Google Cloud console, vai alla pagina Catalogo universale Dataplex.
Nella pagina Gestisci, fai clic sul lake da cui vuoi rimuovere un bucket Cloud Storage o un set di dati BigQuery. Si apre la pagina del lago in questione.
Nella scheda Zone, fai clic sul nome della zona di dati da cui vuoi rimuovere il bucket Cloud Storage o il set di dati BigQuery. Viene visualizzata la pagina Zona dati relativa alla zona dati in questione.
Nella scheda Asset, seleziona l'asset selezionando la casella a sinistra del nome dell'asset.
Fai clic su Elimina risorsa.
Nella finestra di dialogo di conferma, fai clic su Elimina.
REST
Per rimuovere un bucket, utilizza il metodo lakes.zones,assets.delete.
Passaggi successivi
- Scopri di più sul rilevamento dei dati.
- Scopri come creare un lago.
- Scopri di più sugli audit log di Cloud.