Gestisci gli asset di dati in un lake

Questa pagina spiega come aggiungere, eseguire l'upgrade e rimuovere bucket Cloud Storage e set di dati BigQuery come asset nelle zone Dataplex Universal Catalog esistenti.

Panoramica

Un asset esegue il mapping dei dati archiviati in Cloud Storage o BigQuery. Puoi mappare i dati archiviati in progetti Google Cloud separati come asset in una singola zona all'interno di un lake. Puoi collegare bucket Cloud Storage o set di dati BigQuery esistenti da gestire all'interno del lake.

Prima di iniziare

  • Se non l'hai ancora fatto, crea un lake e una zona in quel lake.

  • La maggior parte dei comandi gcloud lakes richiede una posizione. Puoi specificare la posizione utilizzando il flag --location.

Ruoli obbligatori

  • Per rimuovere gli asset, concedi i ruoli IAM contenenti le autorizzazioni dataplex.lakes.delete, dataplex.zones.delete o dataplex.assets.delete. Per concedere queste autorizzazioni, puoi utilizzare i ruoli roles/dataplex.admin e roles/dataplex.editor specifici di Dataplex Universal Catalog.

  • Per aggiungere asset, concedi i ruoli IAM contenenti le autorizzazioni create - dataplex.lakes.create, dataplex.zones.create o dataplex.assets.create. I ruoli roles/dataplex.admin e roles/dataplex.editor contengono queste autorizzazioni.

  • Puoi anche concedere l'autorizzazione a utenti o gruppi utilizzando i ruoli legacy roles/owner e roles/editor.

  • Devi autorizzare il servizio Dataplex Universal Catalog sulle risorse che vengono collegate al lake Dataplex Universal Catalog. L'autorizzazione viene concessa automaticamente e implicitamente per le risorse nel progetto in cui viene creato il lake. Per gli altri progetti, autorizza il servizio Dataplex Universal Catalog in modo esplicito sulle risorse.

Per saperne di più, consulta IAM e controllo dell'accesso di Dataplex Universal Catalog.

Concedere ruoli per i bucket Cloud Storage

Per collegare un bucket Cloud Storage da un altro progetto al tuo lake, devi concedere alaccount di serviziot Dataplex Universal Catalog (service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com, recuperato dalla pagina dei dettagli del lake nella console) il ruoaccount di serviziount Dataplex Universal Catalog (roles/dataplex.serviceAgent) nel progetto che contiene il bucket. Questo ruolo fornisce al servizio Dataplex Universal Catalog il ruolo di amministratore prerequisito sul bucket in modo che le autorizzazioni possano essere impostate sul bucket stesso.

Concedi ruoli per i set di dati BigQuery

Per collegare un set di dati BigQuery di un altro progetto al tuo lake, devi concedere all'account di servizio del Catalogo universale Dataplex il ruolo Amministratore BigQuery nel set di dati.

Considerazioni sui Controlli di servizio VPC

Dataplex Universal Catalog non viola i perimetri dei Controlli di servizio VPC. Prima di aggiungere un asset al lake, assicurati che il bucket o il set di dati sottostante si trovi nella stessa rete Controlli di servizio VPC del lake.

Per saperne di più, consulta Controlli di servizio VPC con Dataplex Universal Catalog.

Aggiungi un asset

Se non esiste una sovrapposizione tra la regione del lake Dataplex Universal Catalog e una delle regioni dei bucket Cloud Storage, non puoi aggiungere il bucket a una zona del lake.

Per scoprire di più sulla posizione della regione di un asset Cloud Storage e su come Dataplex Universal Catalog gestisce la posizione di un bucket durante la creazione del set di dati di pubblicazione, consulta Risorse regionali.

Per aggiungere un asset:

Console

  1. Nella console Google Cloud , vai alla pagina Lake di Dataplex Universal Catalog.

    Vai a Laghi

  2. Fai clic sul lake a cui vuoi aggiungere un bucket Cloud Storage o un dataset BigQuery. Si apre la pagina del lago.

  3. Nella scheda Zone, fai clic sul nome della zona di dati a cui vuoi aggiungere l'asset. Viene visualizzata la pagina Zona dati per quella zona dati.

  4. Nella scheda Asset, fai clic su + Aggiungi asset. Viene visualizzata la pagina Aggiungi asset.

  5. Fai clic su Aggiungi un asset.

  6. Nel campo Tipo, seleziona Set di dati BigQuery o Bucket Cloud Storage.

  7. Nel campo Nome visualizzato, inserisci un nome per il nuovo asset.

  8. Nel campo ID, inserisci un ID univoco per l'asset.

  9. Facoltativo: inserisci una descrizione.

  10. Nel campo Set di dati o Bucket (a seconda del tipo di asset), fai clic su Sfoglia per trovare e selezionare il bucket Cloud Storage o il set di dati BigQuery.

  11. (Facoltativo) Se il tipo di asset è Bucket Cloud Storage e vuoi che Dataplex Universal Catalog gestisca l'asset, seleziona la casella di controllo Esegui l'upgrade a Gestito. Se scegli questa opzione, non devi eseguire l'upgrade dell'asset separatamente. Questa opzione non è disponibile per i set di dati BigQuery.

  12. Fai clic su Continua.

  13. Scegli i restanti valori parametro. Per ulteriori informazioni sulle impostazioni di sicurezza, vedi Sicurezza del lake.

  14. Fai clic su Invia.

  15. Verifica di essere tornato alla pagina della zona dei dati e che il nuovo asset venga visualizzato nell'elenco degli asset.

REST

Per aggiungere una risorsa, utilizza il metodo lakes.zones.assets.create.

Se l'aggiunta va a buon fine, la zona dati entra automaticamente nello stato attivo. In caso di errore, la zona di dati viene ripristinata allo stato precedente integro.

Eseguire l'upgrade di un asset bucket Cloud Storage

Quando aggiungi un asset di tipo bucket Cloud Storage, Dataplex Universal Catalog pubblica automaticamente le tabelle esterne BigQuery per le tabelle ospitate nell'asset.

Quando esegui l'upgrade di un asset bucket Cloud Storage, Dataplex Universal Catalog rimuove le tabelle esterne collegate e crea tabelle BigLake. Le tabelle BigLake supportano una sicurezza più granulare, inclusi il mascheramento dinamico dei dati a livello di riga e colonna.

Per eseguire l'upgrade di un asset bucket Cloud Storage:

Console

  1. Nella console Google Cloud , vai alla pagina Lake di Dataplex Universal Catalog.

    Vai a Laghi

  2. Fai clic sul nome del lago. Si apre la pagina del lago.

  3. Nella scheda Zone, fai clic sul nome della zona di dati. Si apre la pagina della zona di dati.

  4. Nella scheda Asset, fai clic sul nome dell'asset che vuoi eseguire l'upgrade.

  5. Fai clic su Esegui upgrade a Gestito.

REST

Per eseguire l'upgrade di un asset bucket, utilizza il metodo lakes.zones.assets.patch.

Eseguire il downgrade di un asset bucket Cloud Storage

Quando esegui il downgrade di un asset bucket Cloud Storage, Dataplex Universal Catalog rimuove le tabelle BigLake collegate e crea tabelle esterne.

Console

  1. Nella console Google Cloud , vai alla pagina Lake di Dataplex Universal Catalog.

    Vai a Laghi

  2. Fai clic sul nome del lago. Si apre la pagina del lago.

  3. Nella scheda Zone, fai clic sul nome della zona di dati. Si apre la pagina della zona di dati.

  4. Nella scheda Asset, fai clic sul nome dell'asset che vuoi eseguire l'upgrade.

  5. Fai clic su Esegui il downgrade dalla modalità gestita.

REST

Per eseguire il downgrade di un asset bucket, utilizza il metodo lakes.zones.assets.patch. Assicurati di impostare il campo readAccessMode su DIRECT in ResourceSpec.

Rimuovere un asset

Rimuovi l'asset dalla zona o dal lake di dati prima di collegarlo a un'altra zona o a un altro lake.

Per rimuovere un asset:

Console

  1. Nella console Google Cloud , vai alla pagina Lake di Dataplex Universal Catalog.

    Vai a Laghi

  2. Fai clic sul lake da cui vuoi rimuovere un bucket Cloud Storage o un set di dati BigQuery. Si apre la pagina del lake.

  3. Nella scheda Zone, fai clic sul nome della zona di dati da cui vuoi rimuovere il bucket Cloud Storage o il set di dati BigQuery. Si apre la pagina della zona di dati relativa a quella zona.

  4. Nella scheda Asset, seleziona l'asset selezionando la casella a sinistra del nome dell'asset.

  5. Fai clic su Elimina asset.

  6. Nella finestra di dialogo di conferma, fai clic su Elimina.

REST

Per rimuovere un bucket, utilizza il metodo lakes.zones,assets.delete.

Passaggi successivi