Transizione da Data Catalog a Dataplex Universal Catalog

Se utilizzi Data Catalog, puoi eseguire la transizione dell'utilizzo e dei contenuti di Data Catalog al Catalogo universale Dataplex seguendo i passaggi descritti in questo documento.

Se non hai mai utilizzato il catalogo, inizia con Dataplex Universal Catalog configurandolo come esperienza di catalogo predefinita.

Questo documento è rivolto agli amministratori e ai responsabili dei dati.

Il Catalogo universale Dataplex ha un'interfaccia web e un'API unificate. La transizione a Dataplex Universal Catalog consente ai carichi di lavoro e agli utenti esistenti e futuri di usufruire delle funzionalità e delle capacità avanzate del catalogo. Per saperne di più, consulta Informazioni sulla gestione del catalogo di dati in Dataplex Universal Catalog.

Per un confronto tra Dataplex Universal Catalog e Data Catalog, consulta Dataplex Universal Catalog e Data Catalog.

Prima di iniziare la transizione, esamina le funzionalità di gestione dei metadati non supportate in Dataplex Universal Catalog.

Panoramica della transizione

La pagina Gestisci la transizione a Dataplex nella Google Cloud console offre un unico punto di accesso per gestire la transizione.

Questa sezione descrive i vari scenari di transizione e illustra la procedura di transizione per ciascuno di questi scenari.

Se non hai metadati personalizzati in Data Catalog o se non hai mai utilizzato Data Catalog

Se utilizzi Data Catalog e non hai metadati personalizzati, come tag, modelli di tag, voci personalizzate o gruppi di voci, o se non hai mai utilizzato Data Catalog, completa la transizione impostando l'esperienza di interfaccia utente del catalogo predefinita su Dataplex Universal Catalog.

Se hai metadati personalizzati di Data Catalog o carichi di lavoro programmatici

Se utilizzi Data Catalog con metadati personalizzati (ad esempio tag, modelli di tag, voci personalizzate o gruppi di voci), il Catalogo universale Dataplex può importare automaticamente questi metadati personalizzati come read-only. Per attivare questa funzionalità, sono necessarie modifiche alla configurazione come descritto nella fase preparatoria.

La seconda fase è la fase di upgrade, in cui lo stato attivo (read-write) degli metadati personalizzati viene spostato in Dataplex Universal Catalog. Durante questa fase, devi anche aggiornare eventuali workload programmatici (ad esempio API, librerie client, moduli Terraform e comandi Google Cloud CLI) per interagire con Dataplex Universal Catalog.

Di seguito sono riportati ulteriori dettagli su ogni fase del processo di transizione:

  1. Fase preparatoria: esegui le attività di configurazione necessarie per rendere disponibili contemporaneamente i contenuti di Data Catalog nel Catalogo universale Dataplex come read-only. Durante questa fase, Data Catalog rimane la fonte autorevole per i contenuti dei metadati.

    La fase preparatoria include le seguenti attività:

    1. Aggiorna i modelli di tag privati di Data Catalog in modo che siano pubblici.
    2. Attiva i modelli di tag e i tag per la disponibilità simultanea dei metadati in Dataplex Universal Catalog.
    3. Configura le autorizzazioni IAM di Dataplex Universal Catalog per i metadati personalizzati.

    Per ulteriori informazioni, consulta la fase preparatoria.

  2. Fase di upgrade: sposta l'utilizzo del catalogo e lo stato attivo (read-write) degli metadati personalizzati in Dataplex Universal Catalog.

    La fase di upgrade include le seguenti attività:

    1. Imposta l'esperienza di interfaccia utente del catalogo predefinita su Dataplex Universal Catalog.

    2. Esegui l'upgrade dei metadati personalizzati di Data Catalog a Dataplex Universal Catalog.

      Devi attendere almeno 48 ore dopo aver attivato i modelli di tag e i tag prima di poter eseguire l'upgrade dei metadati personalizzati. Questo tempo è necessario per l'elaborazione interna.

    3. Aggiorna i workload programmatici.

    Al termine della fase di upgrade, Dataplex Universal Catalog diventa la fonte autorevole per tutti i metadati e non è necessario utilizzare Data Catalog.

    Per ulteriori informazioni, consulta la fase di upgrade.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per la transizione da Data Catalog a Dataplex Universal Catalog, concedi i seguenti ruoli IAM alla risorsa:

  • Aggiorna i modelli di tag privati in pubblici: Proprietario TagTemplate Data Catalog (roles/datacatalog.tagTemplateOwner)

    Questo ruolo predefinito contiene l'autorizzazione datacatalog.tagTemplates.update, necessaria per aggiornare i modelli di tag privati in modo che siano pubblici.

  • Attiva i modelli di tag e i tag pubblici per la disponibilità simultanea dei metadati nel Catalogo universale Dataplex: DataCatalog Migration Config Admin (roles/datacatalog.migrationConfigAdmin)

    Questo ruolo predefinito contiene l'autorizzazione datacatalog.migrationConfig.set, obbligatoria per attivare i modelli di tag e i tag.

  • Imposta l'esperienza di interfaccia utente del catalogo predefinita su Dataplex Universal Catalog: DataCatalog Migration Config Admin (roles/datacatalog.migrationConfigAdmin)

    Questo ruolo predefinito contiene l'autorizzazione datacatalog.migrationConfig.set, necessaria per impostare l'esperienza di UI del catalogo predefinita.

  • Esegui l'upgrade dei modelli di tag pubblici di Data Catalog al Catalogo universale Dataplex: Proprietario TagTemplate di Data Catalog (roles/datacatalog.tagTemplateOwner)

    Questo ruolo predefinito contiene l'autorizzazione datacatalog.tagTemplates.update, necessaria per eseguire l'upgrade dei modelli di tag pubblici.

  • Esegui l'upgrade dei gruppi di voci di Data Catalog a Dataplex Universal Catalog: DataCatalog EntryGroup Owner (roles/datacatalog.entryGroupOwner)

    Questo ruolo predefinito contiene l'autorizzazione datacatalog.entryGroups.update, necessaria per eseguire l'upgrade dei gruppi di voci.

Per ulteriori informazioni sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Potresti anche ottenere le autorizzazioni richieste con ruoli personalizzati o altri ruoli predefiniti.

Fase preparatoria

Questa fase prevede attività per rendere disponibili contemporaneamente i contenuti dei metadati di Data Catalog nel Catalogo universale Dataplex, in modalità read-only.

Di seguito sono riportati i punti chiave da ricordare durante la fase preparatoria:

  • Data Catalog rimane la fonte autorevole per i metadati personalizzati.
  • Per impostazione predefinita, la pagina Ricerca di Dataplex Universal Catalog rimanda alla ricerca di Data Catalog, che include solo i metadati di Data Catalog e non quelli di Dataplex Universal Catalog.
  • La ricerca nel Catalogo universale Dataplex potrebbe non includere tutti i modelli di tag e i tag pubblici di Data Catalog finché non completi la fase preparatoria.

I gruppi di voci personalizzate di Data Catalog e le relative voci sono già disponibili contemporaneamente in Dataplex Universal Catalog come read-only. Quando attivi i modelli di tag e i tag pubblici nella fase preparatoria, i relativi contenuti verranno resi disponibili contemporaneamente in Dataplex Universal Catalog come read-only.

La tabella seguente mostra la mappatura tra le risorse Data Catalog e quelle del Catalogo universale Dataplex quando le risorse Data Catalog vengono rese disponibili contemporaneamente nel Catalogo universale Dataplex:

Mappatura tra Data Catalog e Catalogo universale Dataplex
Risorsa Data Catalog Risorsa del Catalogo universale Dataplex corrispondente Descrizione
Modello di tag Tipo di aspetto (globale)

I modelli di tag in Data Catalog sono risorse regionali. Quando attivi i modelli di tag, i relativi contenuti vengono resi disponibili contemporaneamente come tipi di aspetti globali in Dataplex Universal Catalog. Questo serve a preservare i riferimenti tra regioni tra i tag e i modelli di tag. Le definizioni dei tipi di aspetto globali vengono replicate in tutte le regioni. Google Cloud

Concetti standard come Schema sono rappresentati da tipi di aspetti di sistema, forniti da Dataplex Universal Catalog. Per ulteriori informazioni, consulta Categorie di tipi di aspetti.

Tag Aspetto facoltativo Quando attivi i modelli di tag, i relativi tag vengono resi disponibili contemporaneamente come aspetti facoltativi nel Catalogo universale Dataplex. Per ulteriori informazioni, consulta Categorie di aspetti.
Gruppo di voci Gruppo di voci I gruppi di voci per le voci di sistema vengono stabiliti per progetto e per regione nel Catalogo universale Dataplex. I gruppi di voci creati in Data Catalog vengono resi disponibili contemporaneamente nel Catalogo universale Dataplex.
Voce personalizzata Voce personalizzata Tutte le voci personalizzate in Data Catalog vengono rese disponibili contemporaneamente come voci di GenericEntryType nel Catalogo universale Dataplex. Per ulteriori informazioni, consulta Categorie di tipi di voci.
Voce di sistema (Google Cloud) Aspetto obbligatorio per l'inserimento nel sistema I metadati che descrivono le voci di sistema, ad esempio Schema per le tabelle BigQuery, vengono acquisiti negli aspetti obbligatori dei tipi di aspetto definiti dal sistema.

Aggiorna i modelli di tag privati di Data Catalog in modo che siano pubblici

Dataplex Universal Catalog non supporta il concetto di aspetti privati (corrispondenti ai tag privati). Pertanto, i tag e i modelli di tag privati non vengono resi disponibili contemporaneamente nel Catalogo universale Dataplex. Per propagare i modelli di tag privati e i tag privati nel Catalogo universale Dataplex, devi aggiornarli in modo da renderli pubblici.

Prima di procedere, esamina la struttura dei modelli di tag privati per verificare che la loro struttura e i metadati siano coerenti con la visibilità dei tag pubblici.

Per aggiornare i tag e i modelli di tag privati in modo che diventino pubblici:

Console

  1. Nella Google Cloud console, vai alla pagina Catalogo del Catalogo universale Dataplex.

    Vai a Catalogo

  2. Fai clic su Gestisci la transizione a Dataplex.

  3. Fai clic sulla scheda Modelli di tag privati.

  4. Fai clic su Gestisci modelli di tag.

  5. Nella pagina Modelli di tag, fai clic sul modello di tag privato da aggiornare.

  6. Nella pagina Dettagli del modello, fai clic su Modifica.

  7. Nella sezione Visibilità, seleziona Pubblico.

  8. Fai clic su Aggiorna.

REST

Per aggiornare i modelli di tag privati in modo che siano pubblici, utilizza il metodo tagTemplates.patch.

Attivare i modelli di tag e i tag pubblici per la disponibilità simultanea dei metadati nel Catalogo universale Dataplex

Una volta fornita l'attivazione, i contenuti dei tag e dei modelli di tag pubblici di Data Catalog vengono propagati automaticamente e in modo continuo al Catalogo universale Dataplex nella tua Google Cloud organizzazione o nel tuo progetto. I modelli di tag e i tag pubblici di Data Catalog vengono propagati al Catalogo universale Dataplex come tipi di aspetti e aspetti pubblici, rispettivamente. Le definizioni dei tipi di aspetto globali vengono replicate in tutte le Google Cloud regioni.

Per attivare i modelli di tag e i tag pubblici:

Console

  1. Nella Google Cloud console, vai alla pagina Catalogo del Catalogo universale Dataplex.

    Vai a Catalogo

  2. Fai clic su Gestisci la transizione a Dataplex.

  3. Fai clic sulla scheda Attiva.

  4. Fai clic su Fornisci attivazione.

  5. Nella finestra di dialogo di conferma, inserisci il testo visualizzato e fai clic su Conferma.

REST

Per attivare i modelli di tag e i tag, utilizza il metodo setConfig.

Sia per le Google Cloud organizzazioni che per i progetti, puoi revocare l'attivazione iniziale facendo clic su Revoca attivazione. Quando revochi l'attivazione, il processo di propagazione dei modelli di tag e dei tag di Data Catalog nel Catalogo universale Dataplex viene interrotto. I tipi di aspetti e gli aspetti del Catalogo universale Dataplex creati dalla procedura di attivazione, ma di cui non è stato eseguito l'upgrade al Catalogo universale Dataplex, vengono eliminati. Il processo di eliminazione potrebbe richiedere fino a 12 ore.

Configura le autorizzazioni IAM di Dataplex Universal Catalog per i metadati personalizzati

I tipi di aspetto e i gruppi di voci personalizzati di Dataplex Universal Catalog che rappresentano i modelli di tag e i gruppi di voci di Data Catalog non ereditano le autorizzazioni IAM originali di Data Catalog. Devi configurare manualmente le autorizzazioni IAM del Catalogo universale Dataplex per questi tipi di aspetti e gruppi di voci personalizzati.

Ad esempio, se vuoi creare aspetti utilizzando un tipo di aspetto propagato (che rappresenta un modello di tag Data Catalog), devi configurare le autorizzazioni IAM necessarie per quel tipo di aspetto. Analogamente, quando importi metadati personalizzati, per creare voci personalizzate all'interno di un gruppo di voci personalizzate propagate, devi configurare le autorizzazioni IAM necessarie per quel gruppo di voci.

Per ulteriori informazioni su come le autorizzazioni IAM in Data Catalog corrispondono a quelle in Dataplex Universal Catalog, consulta la sezione Mappatura delle autorizzazioni IAM tra Data Catalog e Dataplex Universal Catalog.

Per configurare le autorizzazioni IAM necessarie di Dataplex Universal Catalog per i tipi di aspetto e i gruppi di voci personalizzati, segui questi passaggi:

Console

  1. Nella Google Cloud console, vai alla pagina Catalogo del Catalogo universale Dataplex.

    Vai a Catalogo

  2. Fai clic su Gestisci la transizione a Dataplex.

  3. Fai clic sulla scheda Autorizzazioni IAM di Dataplex.

  4. Per configurare le autorizzazioni IAM del Catalogo universale Dataplex per i tipi di aspetto, fai clic su Tipi di aspetto e modelli di tag.

    1. Per il modello di tag propagato da Data Catalog, fai clic su > Autorizzazioni.

    2. Fai clic su Aggiungi entità.

    3. Aggiungi una nuova entità e assegna i ruoli richiesti.

    4. Fai clic su Salva.

  5. Per configurare le autorizzazioni IAM del Catalogo universale Dataplex per i gruppi di voci, fai clic su Gruppi di voci.

    1. Per il gruppo di voci propagato da Data Catalog, fai clic su > Autorizzazioni.

    2. Fai clic su Aggiungi entità.

    3. Aggiungi una nuova entità e assegna i ruoli richiesti.

    4. Fai clic su Salva.

REST

Per configurare le autorizzazioni IAM del Catalogo universale Dataplex per i tipi di aspetto, utilizza il metodo aspectTypes.setIamPolicy.

Per configurare le autorizzazioni IAM del Catalogo universale Dataplex per i gruppi di voci, utilizza il metodo entryGroups.setIamPolicy.

Fase di upgrade

Questa fase prevede attività per spostare lo stato attivo (read-write) dei metadati personalizzati di Data Catalog nel catalogo universale Dataplex.

Di seguito sono riportati i punti chiave da ricordare durante la fase di upgrade:

  • La pagina Ricerca del Catalogo universale Dataplex rimanda per impostazione predefinita alla ricerca in Catalogo universale Dataplex.
  • Puoi trovare e leggere i metadati di Data Catalog e Dataplex Universal Catalog in Dataplex Universal Catalog.
  • Per aggiornare i metadati nella Google Cloud console, verrà visualizzato un reindirizzamento alla sua fonte. Ad esempio, se stai aggiornando i modelli di tag di Data Catalog, verrà visualizzata la pagina dei modelli di tag in Data Catalog.

Impostare l'esperienza di interfaccia utente del catalogo predefinita su Dataplex Universal Catalog

Se imposti l'esperienza di interfaccia utente del catalogo predefinita su Dataplex Universal Catalog, si verificherà quanto segue:

  • Quando vai alla pagina Ricerca del Catalogo universale Dataplex nella consoleGoogle Cloud , viene visualizzata per impostazione predefinita la ricerca nel Catalogo universale Dataplex (Dataplex Catalog). La ricerca in Dataplex Universal Catalog opera su Dataplex Universal Catalog e trova tutti i contenuti dei metadati, inclusi i contenuti creati in Dataplex Universal Catalog e quelli importati da Data Catalog.

    La ricerca in Data Catalog trova solo i contenuti di Data Catalog, non quelli del Catalogo universale Dataplex. Pertanto, consigliamo di utilizzare la ricerca del Catalogo universale Dataplex.

  • L'interfaccia web ti incoraggia a creare nuove risorse nel Catalogo universale Dataplex (Dataplex Catalog). Ad esempio, per impostazione predefinita viene visualizzato Crea tipi di aspetto anziché Crea modelli di tag e Crea gruppo di voci (Dataplex Catalog) anziché Crea gruppo di voci (Data Catalog).

  • L'impostazione dell'esperienza di interfaccia utente del catalogo predefinita su Catalogo universale Dataplex è in genere un'operazione unidirezionale. Tuttavia, Dataplex Universal Catalog ti consente di annullare le modifiche in casi eccezionali, ad esempio quando vuoi tornare all'esperienza predefinita dell'UI del catalogo in Data Catalog. Se ripristini le modifiche, non potrai accedere ai contenuti creati in Dataplex Universal Catalog nell'interfaccia web di Data Catalog.

Per impostare l'esperienza di interfaccia utente del catalogo predefinita su Dataplex Universal Catalog, segui questi passaggi:

Console

  1. Nella Google Cloud console, vai alla pagina Catalogo del Catalogo universale Dataplex.

    Vai a Catalogo

  2. Fai clic su Gestisci la transizione a Dataplex.

  3. Fai clic sulla scheda Esperienza di UI del catalogo predefinita.

  4. Fai clic su Imposta l'esperienza di interfaccia utente del catalogo predefinita su Dataplex Catalog.

REST

Per impostare l'esperienza di interfaccia utente del catalogo predefinita su Dataplex Universal Catalog, utilizza il metodo setConfig.

Eseguire l'upgrade dei metadati personalizzati di Data Catalog a Dataplex Universal Catalog

Puoi eseguire l'upgrade dei modelli di tag pubblici di Data Catalog (per i quali hai attivato l'opzione) e dei gruppi di voci personalizzati a Dataplex Universal Catalog. Assicurati di eseguire l'upgrade di ogni modello di tag e gruppo di voci personalizzate separatamente.

Di seguito è riportato un riepilogo della procedura di upgrade:

  • Effetto

    • Trasferisce lo stato attivo delle risorse da Data Catalog al Catalogo universale Dataplex. Dopo l'upgrade, per modificare la risorsa o accedere al suo stato corrente, devi utilizzare il Catalogo universale Dataplex.

  • Modifiche al flusso e ai contenuti dei dati

    • Contrassegna la risorsa come read-only in Data Catalog.
    • Contrassegna la risorsa come read-write nel Catalogo universale Dataplex.
    • Interrompe la disponibilità simultanea di questa risorsa.

  • Dipendenze

    • L'upgrade di un modello di tag comporta anche l'upgrade di tutti i tag che lo utilizzano.
    • L'upgrade dei gruppi di voci comporta anche l'upgrade di tutte le voci al loro interno.
    • L'upgrade delle voci non influisce sullo stato di upgrade dei relativi tag e dei rispettivi modelli di tag.

Prima dell'upgrade, per modificare il contesto aziendale di una voce (ad esempio, overview, contacts), puoi utilizzare sia l'API Data Catalog che l'API Dataplex. Dopo l'upgrade, devi utilizzare solo l'API Dataplex.

Di seguito sono descritte le operazioni consentite per una voce personalizzata di Data Catalog con tag, a seconda dello stato dell'upgrade del gruppo di voci personalizzate e del modello di tag correlati:

  • Quando un modello di tag è attivo in Data Catalog, puoi utilizzarlo per creare tag. Dopo aver eseguito l'upgrade del modello di tag al Catalogo universale Dataplex, non puoi utilizzarlo per creare tag in Data Catalog.
  • Puoi creare aspetti utilizzando tipi di aspetto propagati dai modelli di tag di Data Catalog solo dopo aver eseguito l'upgrade dei modelli di tag.

Per eseguire l'upgrade dei modelli di tag e dei gruppi di voci personalizzati di Data Catalog a Dataplex Universal Catalog, segui questi passaggi:

Console

  1. Assicurati che siano trascorse almeno 48 ore dall'attivazione prima di eseguire l'upgrade dei modelli di tag di Data Catalog a Dataplex Universal Catalog. Questo tempo è necessario per l'elaborazione interna.

  2. Nella Google Cloud console, vai alla pagina Catalogo del Catalogo universale Dataplex.

    Vai a Catalogo

  3. Fai clic su Gestisci la transizione a Dataplex Universal Catalog.

  4. Fai clic sulla scheda Esegui l'upgrade a Dataplex.

  5. Per eseguire l'upgrade dei modelli di tag di Data Catalog al Catalogo universale Dataplex, fai clic su Visualizza tipi di aspetto e modelli di tag.

    1. Seleziona i modelli di tag di cui vuoi eseguire l'upgrade.

    2. Fai clic su Esegui upgrade.

    3. Nella finestra di dialogo di conferma, fai clic su Conferma.

  6. Per eseguire l'upgrade dei gruppi di voci personalizzati di Data Catalog a Dataplex Universal Catalog, fai clic su Visualizza gruppi di voci.

    1. Seleziona i gruppi di voci di cui vuoi eseguire l'upgrade.

    2. Fai clic su Esegui upgrade.

    3. Nella finestra di dialogo di conferma, fai clic su Conferma.

REST

Assicurati che siano trascorse almeno 48 ore dall'attivazione prima di eseguire l'upgrade dei modelli di tag di Data Catalog a Dataplex Universal Catalog. Questo tempo è necessario per l'elaborazione interna.

Poi, per eseguire l'upgrade dei modelli di tag e dei gruppi di voci personalizzati di Data Catalog al Catalogo universale Dataplex, utilizza il metodo tagTemplates.patch.

Al termine della fase di upgrade, Dataplex Universal Catalog diventa la fonte attendibile per tutti i metadati e non è necessario utilizzare Data Catalog.

Aggiorna i workload programmatici

Il Catalogo universale Dataplex è dotato di una nuova API, librerie client, moduli Terraform e comandi Google Cloud CLI. Pertanto, devi aggiornare eventuali carichi di lavoro esistenti con l'utilizzo programmatico di Data Catalog in Dataplex Universal Catalog. Consulta gli esempi di codice per il Catalogo universale Dataplex.

Assicurati di allineare l'aggiornamento dei workload programmatici con l'upgrade delle risorse dipendenti, come i modelli di tag e i gruppi di voci personalizzate. Questo è necessario perché l'upgrade sposta lo stato attivo (read-write) di una risorsa da Data Catalog a Dataplex Universal Catalog.

Di seguito è riportata una sequenza di esempio di aggiornamento dei carichi di lavoro programmatici per interagire con il Catalogo universale Dataplex, coordinata con l'upgrade delle risorse dipendenti:

  1. Se i tuoi carichi di lavoro possono tollerare la coerenza finale, sposta le operazioni read del carico di lavoro nel Catalogo universale Dataplex.

  2. Sposta i carichi di lavoro che eseguono operazioni di tagging write nel Catalogo universale Dataplex in modo coordinato con l'upgrade dei relativi modelli di tag.

  3. Sposta i carichi di lavoro che eseguono operazioni di importazione write personalizzate in Dataplex Universal Catalog in modo coordinato con l'upgrade dei rispettivi gruppi di voci personalizzate.

Se devi disaccoppiare l'aggiornamento dei carichi di lavoro e l'upgrade delle risorse corrispondenti, ti consigliamo di implementare una logica all'interno dei carichi di lavoro per instradareread-write a Data Catalog o al Catalogo universale Dataplex in base allo stato dell'upgrade delle risorse. Pertanto, i carichi di lavoro funzioneranno indipendentemente dallo stato di upgrade della risorsa correlata.

Passaggi successivi