Transizione da Data Catalog a Dataplex Universal Catalog

Se utilizzi Data Catalog, puoi eseguire la transizione dei contenuti e dell'utilizzo di Data Catalog a Dataplex Universal Catalog seguendo i passaggi descritti in questo documento.

Se non hai mai utilizzato il catalogo, inizia con Dataplex Universal Catalog configurandolo come esperienza di catalogo predefinita.

Questo documento è rivolto agli amministratori e ai responsabili dei dati.

Il Catalogo universale Dataplex ha un'interfaccia web e un'API unificate. La transizione a Dataplex Universal Catalog consente ai tuoi carichi di lavoro e utenti esistenti e futuri di usufruire delle sue funzionalità e capacità avanzate. Per saperne di più, vedi Informazioni sulla gestione dei metadati in Dataplex Universal Catalog.

Per un confronto tra Dataplex Universal Catalog e Data Catalog, consulta Dataplex Universal Catalog e Data Catalog.

Prima di iniziare la transizione, esamina le funzionalità di gestione dei metadati non supportate in Dataplex Universal Catalog.

Panoramica della transizione

La pagina Gestisci la transizione a Dataplex Universal Catalog nella console Google Cloud fornisce un unico punto di accesso per la gestione della transizione.

Questa sezione descrive i vari scenari di transizione e delinea il processo di transizione per ciascuno di essi.

Se non hai metadati personalizzati in Data Catalog o se non hai mai utilizzato Data Catalog

Se utilizzi Data Catalog e non hai metadati personalizzati, come tag, modelli di tag, voci personalizzate o gruppi di voci, o se non hai mai utilizzato Data Catalog, completa la transizione impostando l'esperienza predefinita di UI del catalogo su Dataplex Universal Catalog.

Se hai metadati personalizzati o carichi di lavoro programmatici di Data Catalog

Se utilizzi Data Catalog con metadati personalizzati (ad esempio tag, modelli di tag, voci personalizzate o gruppi di voci), Dataplex Universal Catalog può importare automaticamente questi metadati personalizzati come read-only. Per abilitare questa funzionalità, sono necessarie modifiche alla configurazione come descritto nella fase preparatoria.

La seconda fase è la fase di upgrade, in cui lo stato attivo (read-write) dei metadati personalizzati viene spostato in Dataplex Universal Catalog. Durante questa fase, devi anche aggiornare tutti i workload programmatici (come API, librerie client, moduli Terraform e comandi Google Cloud CLI) per interagire con Dataplex Universal Catalog.

Di seguito vengono forniti ulteriori dettagli su ogni fase del processo di transizione:

  1. Fase preparatoria: esegui le attività di configurazione necessarie per rendere i contenuti di Data Catalog disponibili contemporaneamente in Dataplex Universal Catalog come read-only. Durante questa fase, Data Catalog rimane l'origine autorevole per i contenuti dei metadati.

    La fase preparatoria include le seguenti attività:

    1. Aggiorna i modelli di tag privati di Data Catalog in modo che siano pubblici.
    2. Se il tuo progetto si trova in Assured Workloads, attiva i modelli di tag e i tag per la disponibilità simultanea dei metadati in Dataplex Universal Catalog.
    3. Configura le autorizzazioni IAM di Dataplex Universal Catalog per i tuoi metadati personalizzati.

    Per ulteriori informazioni, consulta la fase preparatoria.

  2. Fase di upgrade: sposta l'utilizzo del catalogo e lo stato attivo (read-write) dei metadati personalizzati in Dataplex Universal Catalog.

    La fase di upgrade include le seguenti attività:

    1. Imposta l'esperienza di UI del catalogo predefinita su Dataplex Universal Catalog.

    2. Esegui l'upgrade dei metadati personalizzati di Data Catalog a Dataplex Universal Catalog.

      Devi attendere almeno 48 ore dopo aver attivato i modelli di tag e i tag e dopo aver reso pubblici i modelli di tag prima di poter eseguire l'upgrade dei metadati personalizzati. Questo tempo è necessario per l'elaborazione interna.

    3. Aggiorna i workload programmatici.

    Al termine della fase di upgrade, Dataplex Universal Catalog diventa l'origine autorevole di tutti i tuoi metadati e non devi utilizzare Data Catalog.

    Per ulteriori informazioni, vedi Fase di upgrade.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per la transizione da Data Catalog a Dataplex Universal Catalog, assegna i seguenti ruoli IAM alla risorsa:

  • Aggiorna i modelli di tag privati in pubblici: Proprietario TagTemplate Data Catalog (roles/datacatalog.tagTemplateOwner)

    Questo ruolo predefinito contiene l'autorizzazione datacatalog.tagTemplates.update, necessaria per aggiornare i modelli di tag privati a pubblici.

  • Attiva i modelli di tag e i tag pubblici per la disponibilità simultanea dei metadati in Dataplex Universal Catalog: DataCatalog Migration Config Admin (roles/datacatalog.migrationConfigAdmin)

    Questo ruolo predefinito contiene l'autorizzazione datacatalog.migrationConfig.set, necessaria per attivare i modelli di tag e i tag.

  • Imposta l'esperienza di UI del catalogo predefinita su Dataplex Universal Catalog: DataCatalog Migration Config Admin (roles/datacatalog.migrationConfigAdmin)

    Questo ruolo predefinito contiene l'autorizzazione datacatalog.migrationConfig.set, necessaria per impostare l'esperienza predefinita di UI del catalogo.

  • Esegui l'upgrade dei modelli di tag pubblici di Data Catalog a Dataplex Universal Catalog: Proprietario di TagTemplate di Data Catalog (roles/datacatalog.tagTemplateOwner)

    Questo ruolo predefinito contiene l'autorizzazione datacatalog.tagTemplates.update, necessaria per eseguire l'upgrade dei modelli di tag pubblici.

  • Esegui l'upgrade dei gruppi di voci di Data Catalog a Dataplex Universal Catalog: Proprietario entryGroup DataCatalog (roles/datacatalog.entryGroupOwner)

    Questo ruolo predefinito contiene l'autorizzazione datacatalog.entryGroups.update, necessaria per eseguire l'upgrade dei gruppi di voci.

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste con ruoli personalizzati o altri ruoli predefiniti.

Fase preparatoria

Questa fase prevede attività per rendere i contenuti dei metadati di Data Catalog disponibili contemporaneamente in Dataplex Universal Catalog, in modalità read-only.

Di seguito sono riportati i punti chiave da ricordare durante la fase preparatoria:

  • Data Catalog rimane la fonte autorevole per i tuoi metadati personalizzati.
  • La pagina Ricerca di Dataplex Universal Catalog punta per impostazione predefinita alla ricerca in Data Catalog, che include solo i metadati di Data Catalog e non quelli di Dataplex Universal Catalog.
  • La ricerca di Dataplex Universal Catalog potrebbe non includere tutti i modelli di tag e i tag pubblici di Data Catalog finché non completi la fase preparatoria.

I gruppi di voci personalizzati di Data Catalog e le relative voci sono già resi disponibili contemporaneamente in Dataplex Universal Catalog come read-only. Quando attivi i tag e i modelli di tag pubblici nella fase preparatoria, i loro contenuti saranno resi disponibili contemporaneamente in Dataplex Universal Catalog come read-only.

La seguente tabella mostra il mapping tra le risorse Data Catalog e Dataplex Universal Catalog quando le risorse Data Catalog vengono rese disponibili contemporaneamente in Dataplex Universal Catalog:

Mapping tra Data Catalog e Dataplex Universal Catalog
Risorsa Data Catalog Risorsa Dataplex Universal Catalog corrispondente Descrizione
Modello di tag Tipo di aspetto (globale)

I modelli di tag in Data Catalog sono risorse regionali. Quando attivi i modelli di tag, i loro contenuti vengono resi disponibili contemporaneamente come tipi di aspetti globali in Dataplex Universal Catalog. per preservare i riferimenti tra regioni tra tag e modelli di tag. Le definizioni dei tipi di aspetto globali vengono replicate in tutte le regioni Google Cloud .

I concetti standard come Schema sono rappresentati da tipi di aspetti di sistema forniti da Dataplex Universal Catalog. Per saperne di più, consulta Categorie di tipi di aspetti.

Tag Aspetto facoltativo Quando attivi i modelli di tag, i relativi tag vengono resi disponibili contemporaneamente come aspetti facoltativi in Dataplex Universal Catalog. Per maggiori informazioni, vedi Categorie di aspetti.
Gruppo di voci Gruppo di voci I gruppi di voci per le voci di sistema vengono creati per progetto e per regione in Dataplex Universal Catalog. I gruppi di voci creati in Data Catalog vengono resi disponibili contemporaneamente in Dataplex Universal Catalog.
Voce personalizzata Voce personalizzata Tutte le voci personalizzate in Data Catalog vengono rese disponibili contemporaneamente come voci di GenericEntryType in Dataplex Universal Catalog. Per saperne di più, consulta Categorie di tipi di voci.
Voce di sistema (Google Cloud) Aspetto obbligatorio della voce di sistema I metadati che descrivono le voci di sistema, ad esempio Schema per le tabelle BigQuery, vengono acquisiti negli aspetti obbligatori dei tipi di aspetto definiti dal sistema.

Aggiorna i modelli di tag privati di Data Catalog in modo che siano pubblici

Dataplex Universal Catalog non supporta il concetto di aspetti privati (le controparti dei tag privati). Pertanto, i tag e i modelli di tag privati non vengono resi disponibili contemporaneamente in Dataplex Universal Catalog. Per propagare tag e modelli di tag privati in Dataplex Universal Catalog, devi aggiornarli in modo da renderli pubblici.

Prima di procedere, esamina la struttura dei modelli di tag privati per verificare che la struttura e i metadati siano coerenti con la visibilità dei tag pubblici.

Per aggiornare i tag e i modelli di tag privati in modo da renderli pubblici:

Console

  1. Nella console Google Cloud , vai alla pagina Catalogo di Dataplex Universal Catalog.

    Vai al catalogo

  2. Fai clic su Gestisci la transizione a Dataplex Universal Catalog.

  3. Fai clic sulla scheda Modelli di tag privati.

  4. Fai clic su Gestisci modelli di tag.

  5. Nella pagina Modelli di tag, fai clic sul modello di tag privato che vuoi aggiornare.

  6. Nella pagina Dettagli modello, fai clic su Modifica.

  7. Nella sezione Visibilità, seleziona Pubblico.

  8. Fai clic su Aggiorna.

REST

Per aggiornare i modelli di tag privati in pubblici, utilizza il metodo tagTemplates.patch.

Attiva i modelli di tag e i tag pubblici per la disponibilità simultanea dei metadati in Dataplex Universal Catalog

Una volta fornita l'attivazione, i contenuti dei tag e dei modelli di tag pubblici di Data Catalog verranno propagati automaticamente e in modo continuo a Dataplex Universal Catalog nella tua organizzazione o nel tuo progetto Google Cloud . I modelli di tag e i tag pubblici di Data Catalog vengono propagati a Dataplex Universal Catalog come tipi di aspetti e aspetti pubblici, rispettivamente. Le definizioni dei tipi di aspetto globali vengono replicate in tutte le regioni di Google Cloud .

Per attivare i modelli di tag e i tag pubblici:

Console

  1. Nella console Google Cloud , vai alla pagina Catalogo di Dataplex Universal Catalog.

    Vai al catalogo

  2. Fai clic su Gestisci la transizione a Dataplex Universal Catalog.

  3. Fai clic sulla scheda Attivazione.

  4. Fai clic su Fornisci attivazione.

  5. Nella finestra di dialogo di conferma, inserisci il testo visualizzato e fai clic su Conferma.

REST

Per attivare i modelli di tag e i tag, utilizza il metodo setConfig.

Per le organizzazioni e per i progetti, puoi revocare l'attivazione fornita in origine facendo clic su Revoca attivazione. Google Cloud Quando revochi l'attivazione, il processo di propagazione dei modelli di tag e dei tag di Data Catalog in Dataplex Universal Catalog si interrompe. Gli aspetti e i tipi di aspetti di Dataplex Universal Catalog creati dal processo di attivazione, ma di cui non è stato eseguito l'upgrade a Dataplex Universal Catalog, vengono eliminati. Il processo di eliminazione potrebbe richiedere fino a 12 ore.

Configura le autorizzazioni IAM di Dataplex Universal Catalog per i metadati personalizzati

I tipi di aspetto e i gruppi di voci personalizzati di Dataplex Universal Catalog che rappresentano i modelli di tag e i gruppi di voci di Data Catalog non ereditano le autorizzazioni IAM originali di Data Catalog. Anche le autorizzazioni IAM specifiche richieste differiscono tra Dataplex Universal Catalog e Data Catalog.

Ad esempio, se vuoi creare aspetti utilizzando un tipo di aspetto propagato (che rappresenta un modello di tag Data Catalog), devi configurare le autorizzazioni IAM necessarie per quel tipo di aspetto. Analogamente, quando inserisci metadati personalizzati, per creare voci personalizzate all'interno di un gruppo di voci personalizzate propagate, devi configurare le autorizzazioni IAM necessarie per quel gruppo di voci.

Se utilizzi i ruoli IAM di Data Catalog per gestire l'accesso in Data Catalog a livello di progetto o superiore, le autorizzazioni necessarie per Dataplex Universal Catalog vengono incluse automaticamente. Tuttavia, se utilizzi ruoli personalizzati o assegni ruoli IAM direttamente a risorse specifiche, devi configurare manualmente le autorizzazioni Dataplex Universal Catalog per questi aspetti specifici e gruppi di voci personalizzati.

Per saperne di più su come le autorizzazioni IAM in Data Catalog corrispondono a quelle in Dataplex Universal Catalog, consulta Mappatura delle autorizzazioni IAM tra Data Catalog e Dataplex Universal Catalog.

Per configurare le autorizzazioni IAM di Dataplex Universal Catalog necessarie per i tipi di aspetto e i gruppi di voci personalizzati, segui questi passaggi:

Console

  1. Nella console Google Cloud , vai alla pagina Catalogo di Dataplex Universal Catalog.

    Vai al catalogo

  2. Fai clic su Gestisci la transizione a Dataplex Universal Catalog.

  3. Fai clic sulla scheda Autorizzazioni IAM di Dataplex.

  4. Per configurare le autorizzazioni IAM di Dataplex Universal Catalog per i tipi di aspetto, fai clic su Tipi di aspetto e modelli di tag.

    1. Per il modello di tag propagato da Data Catalog, fai clic su > Autorizzazioni.

    2. Fai clic su Aggiungi entità.

    3. Aggiungi una nuova entità e assegna i ruoli richiesti.

    4. Fai clic su Salva.

  5. Per configurare le autorizzazioni IAM di Dataplex Universal Catalog per i gruppi di voci, fai clic su Gruppi di voci.

    1. Per il gruppo di voci propagato da Data Catalog, fai clic su > Autorizzazioni.

    2. Fai clic su Aggiungi entità.

    3. Aggiungi una nuova entità e assegna i ruoli richiesti.

    4. Fai clic su Salva.

REST

Per configurare le autorizzazioni IAM di Dataplex Universal Catalog per i tipi di aspetto, utilizza il metodo aspectTypes.setIamPolicy.

Per configurare le autorizzazioni IAM di Dataplex Universal Catalog per i gruppi di voci, utilizza il metodo entryGroups.setIamPolicy.

Fase di upgrade

Questa fase prevede attività per spostare lo stato attivo (read-write) dei metadati personalizzati di Data Catalog in Dataplex Universal Catalog.

Di seguito sono riportati i punti chiave da ricordare durante la fase di upgrade:

  • La pagina Cerca di Dataplex Universal Catalog punta alla ricerca in Dataplex Universal Catalog per impostazione predefinita.
  • Puoi scoprire e leggere i metadati di Data Catalog e Dataplex Universal Catalog in Dataplex Universal Catalog.
  • Per aggiornare i metadati nella console Google Cloud , verrà visualizzata la pagina della relativa origine. Ad esempio, se aggiorni i modelli di tag di Data Catalog, verrà visualizzata la pagina dei modelli di tag in Data Catalog.

Imposta l'esperienza di UI del catalogo predefinita su Dataplex Universal Catalog

Se imposti l'esperienza di UI del catalogo predefinita su Dataplex Universal Catalog, si verificherà quanto segue:

  • Quando vai alla pagina Cerca di Dataplex Universal Catalog nella Google Cloud console, la ricerca in Dataplex Universal Catalog (Dataplex Catalog) viene visualizzata per impostazione predefinita. La ricerca in Dataplex Universal Catalog opera su Dataplex Universal Catalog e trova tutti i tuoi contenuti di metadati, inclusi i contenuti creati in Dataplex Universal Catalog e i contenuti importati da Data Catalog.

    La ricerca in Data Catalog trova solo i contenuti di Data Catalog, non quelli di Dataplex Universal Catalog. Pertanto, ti consigliamo di utilizzare la ricerca di Dataplex Universal Catalog.

  • L'interfaccia web ti incoraggia a creare nuove risorse in Dataplex Universal Catalog. Ad esempio, per impostazione predefinita viene visualizzato Crea tipi di aspetto anziché Crea modelli di tag e Crea gruppo di voci (Dataplex Universal Catalog) anziché Crea gruppo di voci (Data Catalog).

  • L'impostazione dell'esperienza di UI del catalogo predefinita su Dataplex Universal Catalog è in genere un'operazione unidirezionale. Tuttavia, Dataplex Universal Catalog ti consente di ripristinare le modifiche in casi eccezionali, ad esempio quando vuoi ripristinare l'esperienza predefinita di UI del catalogo su Data Catalog. Se ripristini le modifiche, non puoi accedere a nessun contenuto creato in Dataplex Universal Catalog nell'interfaccia web di Data Catalog.

Per impostare l'esperienza di UI del catalogo predefinita su Dataplex Universal Catalog, segui questi passaggi:

Console

  1. Nella console Google Cloud , vai alla pagina Catalogo di Dataplex Universal Catalog.

    Vai al catalogo

  2. Fai clic su Gestisci la transizione a Dataplex Universal Catalog.

  3. Fai clic sulla scheda Esperienza predefinita di UI del catalogo.

  4. Fai clic su Imposta l'esperienza di UI del catalogo predefinita su Dataplex Universal Catalog.

REST

Per impostare l'esperienza di UI del catalogo predefinita su Dataplex Universal Catalog, utilizza il metodo setConfig.

Esegui l'upgrade dei metadati personalizzati di Data Catalog a Dataplex Universal Catalog

Puoi eseguire l'upgrade dei modelli di tag pubblici di Data Catalog (per i quali hai attivato l'importazione) e dei gruppi di voci personalizzati a Dataplex Universal Catalog. Assicurati di eseguire l'upgrade di ogni modello di tag e gruppo di voci personalizzate separatamente.

Di seguito è riassunto il processo di upgrade:

  • Effetto

    • Trasferisce lo stato attivo delle risorse da Data Catalog a Dataplex Universal Catalog. Dopo l'upgrade, per modificare la risorsa o accedere al suo stato attuale, devi utilizzare Dataplex Universal Catalog.

  • Modifiche al contenuto e al flusso dei dati

    • Contrassegna la risorsa come read-only in Data Catalog.
    • Contrassegna la risorsa come read-write in Dataplex Universal Catalog.
    • Interrompe la disponibilità simultanea di questa risorsa.

  • Dipendenze

    • L'upgrade di un modello di tag comporta anche l'upgrade di tutti i tag che utilizzano quel modello.
    • L'upgrade dei gruppi di voci comporta anche l'upgrade di tutte le voci al loro interno.
    • L'upgrade delle voci non influisce sullo stato di upgrade dei relativi tag e dei rispettivi modelli di tag.

Prima dell'upgrade, per modificare il contesto aziendale di una voce (ad esempio, overview, contacts), puoi utilizzare sia l'API Data Catalog sia l'API Dataplex. Dopo l'upgrade, devi utilizzare solo l'API Dataplex.

Di seguito sono descritte le operazioni consentite per una voce Data Catalog personalizzata con tag, a seconda dello stato di upgrade del gruppo di voci personalizzato e del modello di tag correlati:

  • Quando un modello di tag è attivo in Data Catalog, puoi utilizzarlo per creare tag. Dopo aver eseguito l'upgrade del modello di tag a Dataplex Universal Catalog, non puoi utilizzarlo per creare tag in Data Catalog.
  • Puoi creare aspetti utilizzando i tipi di aspetto propagati dai modelli di tag di Data Catalog solo dopo aver eseguito l'upgrade dei modelli di tag.

Per eseguire l'upgrade dei modelli di tag e dei gruppi di voci personalizzati di Data Catalog a Dataplex Universal Catalog, segui questi passaggi:

Console

  1. Assicurati che siano trascorse almeno 48 ore dall'attivazione e che i modelli di tag siano stati resi pubblici prima di eseguire l'upgrade dei modelli di tag di Data Catalog a Dataplex Universal Catalog. Questo tempo è necessario per l'elaborazione interna.

  2. Nella console Google Cloud , vai alla pagina Catalogo di Dataplex Universal Catalog.

    Vai al catalogo

  3. Fai clic su Gestisci la transizione a Dataplex Universal Catalog.

  4. Fai clic sulla scheda Esegui l'upgrade a Dataplex.

  5. Per eseguire l'upgrade dei modelli di tag di Data Catalog a Dataplex Universal Catalog, fai clic su Visualizza tipi di aspetto e modelli di tag.

    1. Seleziona i modelli di tag di cui vuoi eseguire l'upgrade.

    2. Fai clic su Esegui upgrade.

    3. Nella finestra di dialogo di conferma, fai clic su Conferma.

  6. Per eseguire l'upgrade dei gruppi di voci personalizzati di Data Catalog a Dataplex Universal Catalog, fai clic su Visualizza gruppi di voci.

    1. Seleziona i gruppi di voci da eseguire l'upgrade.

    2. Fai clic su Esegui upgrade.

    3. Nella finestra di dialogo di conferma, fai clic su Conferma.

REST

Assicurati che siano trascorse almeno 48 ore dall'attivazione e dalla pubblicazione dei modelli di tag prima di eseguire l'upgrade dei modelli di tag di Data Catalog a Dataplex Universal Catalog. Questo tempo è necessario per l'elaborazione interna.

Poi, per eseguire l'upgrade dei modelli di tag e dei gruppi di voci personalizzati di Data Catalog a Dataplex Universal Catalog, utilizza il metodo tagTemplates.patch.

Al termine della fase di upgrade, Dataplex Universal Catalog diventa l'origine autorevole di tutti i tuoi metadati e non devi utilizzare Data Catalog.

Aggiorna i workload programmatici

Dataplex Universal Catalog include una nuova API, librerie client, moduli Terraform e comandi Google Cloud CLI. Pertanto, devi aggiornare tutti i carichi di lavoro esistenti con l'utilizzo programmatico di Data Catalog a Dataplex Universal Catalog. Consulta gli esempi di codice per Dataplex Universal Catalog.

Assicurati di allineare l'aggiornamento dei workload programmatici all'upgrade delle risorse dipendenti, come i modelli di tag e i gruppi di voci personalizzati. Questo è necessario perché l'upgrade sposta lo stato attivo (read-write) di una risorsa da Data Catalog a Dataplex Universal Catalog.

Di seguito è riportata una sequenza di esempio di aggiornamento dei carichi di lavoro programmatici per interagire con Dataplex Universal Catalog, coordinata con l'upgrade delle risorse dipendenti:

  1. Se i tuoi workload possono tollerare la coerenza finale, sposta le operazioni read dei workload in Dataplex Universal Catalog.

  2. Sposta i carichi di lavoro che eseguono operazioni di tagging write in Dataplex Universal Catalog in coordinamento con l'upgrade dei modelli di tag corrispondenti.

  3. Sposta i carichi di lavoro che eseguono operazioni di importazione personalizzata write in Dataplex Universal Catalog in coordinamento con l'upgrade dei rispettivi gruppi di voci personalizzati.

Se devi disaccoppiare l'aggiornamento dei carichi di lavoro e l'upgrade delle risorse corrispondenti, valuta la possibilità di implementare la logica all'interno dei carichi di lavoro per indirizzare read-write a Data Catalog o Dataplex Universal Catalog in base allo stato di upgrade delle risorse. Pertanto, i carichi di lavoro funzioneranno indipendentemente dallo stato di upgrade della risorsa correlata.

Passaggi successivi