Von Data Catalog auf Dataplex Universal Catalog umstellen

Wenn Sie Data Catalog verwenden, können Sie Ihre Data Catalog-Inhalte und -Nutzung auf Dataplex Universal Catalog umstellen. Folgen Sie dazu der Anleitung in diesem Dokument.

Wenn Sie den Katalog noch nicht verwendet haben, sollten Sie mit Dataplex Universal Catalog beginnen, indem Sie ihn als Standardkatalog festlegen.

Dieses Dokument richtet sich an Datenadministratoren und Datenverantwortliche.

Dataplex Universal Catalog hat eine einheitliche Weboberfläche und API. Durch die Umstellung auf Dataplex Universal Catalog profitieren Ihre vorhandenen und zukünftigen Arbeitslasten und Nutzer von den erweiterten Funktionen. Weitere Informationen finden Sie unter Metadatenverwaltung in Dataplex Universal Catalog.

Einen Vergleich zwischen Dataplex Universal Catalog und Data Catalog finden Sie unter Dataplex Universal Catalog im Vergleich zu Data Catalog.

Bevor Sie mit der Umstellung beginnen, sollten Sie sich die Metadatenverwaltungsfunktionen ansehen, die im Dataplex Universal Catalog nicht unterstützt werden.

Übersicht über die Umstellung

Die Seite Umstellung auf Dataplex Universal Catalog verwalten in der Google Cloud Console bietet einen zentralen Zugriffspunkt für die Verwaltung der Umstellung.

In diesem Abschnitt werden die verschiedenen Übergangsszenarien und der Übergangsprozess für jedes Szenario beschrieben.

Wenn Sie keine benutzerdefinierten Metadaten in Data Catalog haben oder Data Catalog noch nie verwendet haben

Wenn Sie Data Catalog verwenden und keine benutzerdefinierten Metadaten wie Tags, Tag-Vorlagen, benutzerdefinierte Einträge oder Eintragsgruppen haben oder Data Catalog noch nie verwendet haben, legen Sie die Standardkatalog-UI auf Dataplex Universal Catalog fest, um die Umstellung abzuschließen.

Benutzerdefinierte Metadaten oder programmatische Arbeitslasten in Data Catalog

Wenn Sie Data Catalog mit benutzerdefinierten Metadaten wie Tags, Tag-Vorlagen, benutzerdefinierten Einträgen oder Eintragsgruppen verwenden, können diese benutzerdefinierten Metadaten automatisch als read-only in Dataplex Universal Catalog importiert werden. Um diese Funktion zu aktivieren, sind Konfigurationsänderungen erforderlich, wie in der Vorbereitungsphase beschrieben.

Die zweite Phase ist die Upgrade-Phase, in der der aktive Status (read-write) Ihrer benutzerdefinierten Metadaten in Dataplex Universal Catalog verschoben wird. In dieser Phase müssen Sie auch alle programmatischen Arbeitslasten (z. B. API, Clientbibliotheken, Terraform-Module und Google Cloud CLI-Befehle) aktualisieren, damit sie mit dem Dataplex Universal Catalog interagieren.

Im Folgenden finden Sie weitere Informationen zu den einzelnen Phasen des Übergangsprozesses:

1. Vorbereitungsphase: Führen Sie die erforderlichen Konfigurationsaufgaben aus, damit die Data Catalog-Inhalte gleichzeitig als read-only im Dataplex Universal Catalog verfügbar sind. In dieser Phase bleibt Data Catalog die autoritative Quelle für Ihre Metadaten.

   Die Vorbereitungsphase umfasst die folgenden Aufgaben:

   1. Aktualisieren Sie die privaten Tag-Vorlagen in Data Catalog in öffentliche.
   2. Wenn sich Ihr Projekt in Assured Workloads befindet, aktivieren Sie Tag-Vorlagen und Tags für die gleichzeitige Verfügbarkeit von Metadaten in Dataplex Universal Catalog.
   3. Konfigurieren Sie IAM-Berechtigungen für Dataplex Universal Catalog für Ihre benutzerdefinierten Metadaten.

   Weitere Informationen finden Sie unter Vorbereitungsphase.

2. Upgradephase: Übertragen Sie Ihre Katalognutzung und den aktiven Status (read-write) Ihrer benutzerdefinierten Metadaten in Dataplex Universal Catalog.

   Die Upgrade-Phase umfasst die folgenden Aufgaben:

   1. Legen Sie Dataplex Universal Catalog als Standard-UI für den Katalog fest.

   2. Führen Sie ein Upgrade der benutzerdefinierten Data Catalog-Metadaten auf Dataplex Universal Catalog durch.

      Sie müssen mindestens 48 Stunden warten, nachdem Sie Tag-Vorlagen und Tags aktiviert und die Tag-Vorlagen öffentlich gemacht haben, bevor Sie die benutzerdefinierten Metadaten aktualisieren können. Diese Zeit ist für die interne Verarbeitung erforderlich.

   3. Programmatische Arbeitslasten aktualisieren

   Wenn Sie die Upgrade-Phase abgeschlossen haben, wird Dataplex Universal Catalog zur maßgeblichen Quelle für alle Ihre Metadaten und Sie müssen Data Catalog nicht mehr verwenden.

   Weitere Informationen finden Sie unter Upgrade-Phase.

Erforderliche Rollen

Weisen Sie die folgenden IAM-Rollen für die Ressource zu, um die Berechtigungen zu erhalten, die Sie für die Umstellung von Data Catalog auf Dataplex Universal Catalog benötigen:

• Private Tag-Vorlagen in öffentliche Tag-Vorlagen umwandeln: Data Catalog-Tag-Vorlageninhaber (roles/datacatalog.tagTemplateOwner)

  Diese vordefinierte Rolle enthält die Berechtigung datacatalog.tagTemplates.update, die zum Aktualisieren privater Tag-Vorlagen auf öffentlich erforderlich ist.

• Aktivieren Sie öffentliche Tag-Vorlagen und Tags für die gleichzeitige Verfügbarkeit von Metadaten in Dataplex Universal Catalog: DataCatalog Migration Config Admin (roles/datacatalog.migrationConfigAdmin)

  Diese vordefinierte Rolle enthält die Berechtigung datacatalog.migrationConfig.set, die zum Aktivieren von Tag-Vorlagen und Tags erforderlich ist.

• Standardkatalog-UI auf Dataplex Universal Catalog festlegen: DataCatalog Migration Config Admin (roles/datacatalog.migrationConfigAdmin)

  Diese vordefinierte Rolle enthält die Berechtigung datacatalog.migrationConfig.set, die zum Festlegen der Standard-Benutzeroberfläche für den Katalog erforderlich ist.

• Upgrade von öffentlichen Data Catalog-Tag-Vorlagen auf Dataplex Universal Catalog durchführen: Data Catalog-Tag-Vorlageninhaber (roles/datacatalog.tagTemplateOwner)

  Diese vordefinierte Rolle enthält die Berechtigung datacatalog.tagTemplates.update, die zum Aktualisieren öffentlicher Tag-Vorlagen erforderlich ist.

• Upgrade von Data Catalog-Eintragsgruppen auf Dataplex Universal Catalog durchführen: DataCatalog-Eintragsgruppeninhaber (roles/datacatalog.entryGroupOwner)

  Diese vordefinierte Rolle enthält die Berechtigung datacatalog.entryGroups.update, die zum Aktualisieren von Eintragsgruppen erforderlich ist.

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Vorbereitungsphase

In dieser Phase werden Aufgaben ausgeführt, um die Data Catalog-Metadateninhalte gleichzeitig im read-only-Modus in Dataplex Universal Catalog verfügbar zu machen.

Hier sind die wichtigsten Punkte, die Sie in der Vorbereitungsphase beachten sollten:

• Data Catalog bleibt die autoritative Quelle für Ihre benutzerdefinierten Metadaten.
• Die Seite Suche in Dataplex Universal Catalog verweist standardmäßig auf die Data Catalog-Suche, die nur Data Catalog-Metadaten und keine Dataplex Universal Catalog-Metadaten enthält.
• Die Dataplex Universal Catalog-Suche umfasst möglicherweise erst dann alle öffentlichen Tag-Vorlagen und Tags aus Data Catalog, wenn Sie die Vorbereitungsphase abgeschlossen haben.

Private Tag-Vorlagen von Data Catalog in öffentliche umwandeln

Dataplex Universal Catalog unterstützt nicht das Konzept privater Aspekte (Entsprechungen zu privaten Tags). Daher werden private Tag-Vorlagen und Tags nicht gleichzeitig in Dataplex Universal Catalog verfügbar gemacht. Wenn Sie private Tag-Vorlagen und Tags in Dataplex Universal Catalog weitergeben möchten, müssen Sie sie in öffentliche ändern.

Bevor Sie fortfahren, sollten Sie die Struktur der privaten Tag-Vorlagen überprüfen, um sicherzustellen, dass ihre Struktur und Metadaten mit der Sichtbarkeit öffentlicher Tags übereinstimmen.

So aktualisieren Sie private Tag-Vorlagen und Tags zu öffentlich:

Opt‑in für öffentliche Tag-Vorlagen und Tags für die gleichzeitige Verfügbarkeit von Metadaten in Dataplex Universal Catalog

Wenn Sie das Opt‑in erteilen, werden die Inhalte von öffentlichen Tag-Vorlagen und Tags aus Data Catalog automatisch und kontinuierlich an Dataplex Universal Catalog in Ihrer Google Cloud Organisation oder Ihrem Projekt weitergegeben. Die öffentlichen Tag-Vorlagen und Tags aus Data Catalog werden als öffentliche Aspekttypen und Aspekte an Dataplex Universal Catalog weitergegeben. Definitionen von globalen Aspekttypen werden in alle Google Cloud -Regionen repliziert.

So aktivieren Sie öffentliche Tag-Vorlagen und Tags:

Sowohl für Google Cloud Organisationen als auch für Projekte können Sie die ursprünglich erteilte Einwilligung widerrufen, indem Sie auf Einwilligung widerrufen klicken. Wenn Sie das Opt‑in widerrufen, wird die Weitergabe von Data Catalog-Tag-Vorlagen und ‑Tags an Dataplex Universal Catalog beendet. Die Dataplex Universal Catalog-Aspekttypen und ‑Aspekte, die durch den Opt‑in-Prozess erstellt, aber nicht auf Dataplex Universal Catalog aktualisiert werden, werden gelöscht. Das Löschen kann bis zu 12 Stunden dauern.

IAM-Berechtigungen für benutzerdefinierte Metadaten in Dataplex Universal Catalog konfigurieren

Dataplex Universal Catalog-Aspekttypen und benutzerdefinierte Eintragsgruppen, die Tag-Vorlagen und Eintragsgruppen aus Data Catalog darstellen, übernehmen nicht die ursprünglichen Data Catalog-IAM-Berechtigungen. Sie müssen die IAM-Berechtigungen für Dataplex Universal Catalog für diese Aspekttypen und benutzerdefinierten Eintragsgruppen manuell konfigurieren.

Wenn Sie beispielsweise Aspekte mit einem weitergegebenen Aspekttyp erstellen möchten, der eine Data Catalog-Tag-Vorlage darstellt, müssen Sie die erforderlichen IAM-Berechtigungen für diesen Aspekttyp konfigurieren. Wenn Sie benutzerdefinierte Metadaten aufnehmen, um benutzerdefinierte Einträge in einer weitergegebenen benutzerdefinierten Eintragsgruppe zu erstellen, müssen Sie die erforderlichen IAM-Berechtigungen für diese Eintragsgruppe konfigurieren.

Weitere Informationen dazu, wie IAM-Berechtigungen in Data Catalog denen in Dataplex Universal Catalog entsprechen, finden Sie unter IAM-Berechtigungen zwischen Data Catalog und Dataplex Universal Catalog zuordnen.

So konfigurieren Sie die erforderlichen IAM-Berechtigungen für Dataplex Universal Catalog für Aspekttypen und benutzerdefinierte Eintragsgruppen:

Upgrade-Phase

In dieser Phase werden Aufgaben ausgeführt, um den aktiven Status (read-write) Ihrer benutzerdefinierten Data Catalog-Metadaten in Dataplex Universal Catalog zu verschieben.

Die folgenden Punkte sollten Sie während der Upgradephase beachten:

• Die Seite Suche im Dataplex Universal Catalog verweist standardmäßig auf die Dataplex Universal Catalog-Suche.
• Sie können sowohl die Data Catalog- als auch die Dataplex Universal Catalog-Metadaten in Dataplex Universal Catalog aufrufen und lesen.
• Wenn Sie Metadaten in der Google Cloud Console aktualisieren möchten, werden Sie zur Quelle weitergeleitet. Wenn Sie beispielsweise Data Catalog-Tag-Vorlagen aktualisieren, werden Sie zur Seite „Tag-Vorlagen“ in Data Catalog weitergeleitet.

Standardkatalog-UI auf Dataplex Universal Catalog festlegen

Wenn Sie die Standardkatalog-UI auf Dataplex Universal Catalog festlegen, passiert Folgendes:

• Wenn Sie in derGoogle Cloud Console die Seite Suche für Dataplex Universal Catalog aufrufen, wird standardmäßig die Dataplex Universal Catalog-Suche (Dataplex Catalog-Suche) angezeigt. Die Dataplex Universal Catalog-Suche bezieht sich auf Dataplex Universal Catalog und findet alle Ihre Metadateninhalte, einschließlich der in Dataplex Universal Catalog erstellten Inhalte und der aus Data Catalog importierten Inhalte.

  Die Data Catalog-Suche findet nur Data Catalog-Inhalte, keine Dataplex Universal Catalog-Inhalte. Daher empfehlen wir, die Dataplex Universal Catalog-Suche zu verwenden.

• In der Weboberfläche werden Sie aufgefordert, neue Ressourcen in Dataplex Universal Catalog zu erstellen. Standardmäßig wird beispielsweise Aspekttypen erstellen anstelle von Tag-Vorlagen erstellen und Eintragsgruppe erstellen (Dataplex Universal Catalog) anstelle von Eintragsgruppe erstellen (Data Catalog) angezeigt.

• Das Festlegen der Standardkatalog-UI auf Dataplex Universal Catalog ist in der Regel ein einmaliger Vorgang. Mit Dataplex Universal Catalog können Sie Änderungen jedoch in Ausnahmefällen rückgängig machen, z. B. wenn Sie die Standard-UI für den Katalog wieder auf Data Catalog umstellen möchten. Wenn Sie die Änderungen rückgängig machen, können Sie im Data Catalog-Webinterface nicht auf Inhalte zugreifen, die in Dataplex Universal Catalog erstellt wurden.

So legen Sie Dataplex Universal Catalog als Standardkatalog-UI fest:

Upgrade von benutzerdefinierten Data Catalog-Metadaten auf Dataplex Universal Catalog

Sie können die öffentlichen Data Catalog-Tag-Vorlagen, für die Sie das Opt‑in erteilt haben, und benutzerdefinierte Eintragsgruppen auf Dataplex Universal Catalog upgraden. Sie müssen jede Tag-Vorlage und benutzerdefinierte Eintragsgruppe separat aktualisieren.

Im Folgenden wird der Upgradevorgang zusammengefasst:

• Effekt

  • Überträgt den aktiven Status für Ressourcen von Data Catalog an Dataplex Universal Catalog. Nach dem Upgrade müssen Sie Dataplex Universal Catalog verwenden, um die Ressource zu ändern oder auf ihren aktuellen Status zuzugreifen.

• Änderungen am Dateninhalt und -fluss

  • Markiert die Ressource in Data Catalog als read-only.
  • Die Ressource wird in Dataplex Universal Catalog als read-write markiert.
  • Die gleichzeitige Verfügbarkeit dieser Ressource wird beendet.

• Abhängigkeiten

  • Wenn Sie eine Tag-Vorlage aktualisieren, werden auch alle Tags aktualisiert, die diese Vorlage verwenden.
  • Wenn Sie ein Upgrade von Eintragsgruppen durchführen, erfolgt dieses auch für alle Einträge in der Gruppe.
  • Das Upgrade von Einträgen hat keinen Einfluss auf den Upgradestatus ihrer Tags und der entsprechenden Tag-Vorlagen.

Vor dem Upgrade können Sie sowohl die Data Catalog API als auch die Dataplex API verwenden, um den geschäftlichen Kontext eines Eintrags zu ändern (z. B. overview, contacts). Nach dem Upgrade dürfen Sie nur noch die Dataplex API verwenden.

Im Folgenden wird beschrieben, welche Vorgänge für einen benutzerdefinierten Data Catalog-Eintrag mit Tags zulässig sind, je nach Upgradestatus der zugehörigen benutzerdefinierten Eintragsgruppe und Tag-Vorlage:

• Wenn eine Tag-Vorlage in Data Catalog aktiv ist, können Sie damit Tags erstellen. Nachdem Sie die Tag-Vorlage auf Dataplex Universal Catalog aktualisiert haben, können Sie sie nicht mehr verwenden, um Tags in Data Catalog zu erstellen.
• Sie können Aspekte nur dann mit Aspekttypen erstellen, die aus Data Catalog-Tag-Vorlagen übernommen werden, wenn Sie die Tag-Vorlagen aktualisiert haben.

So führen Sie ein Upgrade der Data Catalog-Tag-Vorlagen und benutzerdefinierten Eintragsgruppen auf Dataplex Universal Catalog durch:

Wenn Sie die Upgradephase abgeschlossen haben, wird Dataplex Universal Catalog zur maßgeblichen Quelle für alle Ihre Metadaten und Sie müssen Data Catalog nicht mehr verwenden.

Programmatische Arbeitslasten aktualisieren

Dataplex Universal Catalog bietet eine neue API, Clientbibliotheken, Terraform-Module und Google Cloud CLI-Befehle. Daher müssen Sie alle vorhandenen Arbeitslasten, in denen Data Catalog programmatisch verwendet wird, auf Dataplex Universal Catalog umstellen. Codebeispiele für Dataplex Universal Catalog

Achten Sie darauf, dass Sie die Aktualisierung programmatischer Arbeitslasten mit dem Upgrade der abhängigen Ressourcen wie Tag-Vorlagen und benutzerdefinierte Eintragsgruppen abstimmen. Dies ist erforderlich, da durch das Upgrade der aktive (read-write) Status einer Ressource von Data Catalog in Dataplex Universal Catalog verschoben wird.

Das folgende Beispiel zeigt eine Abfolge von Schritten zum Aktualisieren programmatischer Arbeitslasten für die Interaktion mit Dataplex Universal Catalog, koordiniert mit dem Upgrade der abhängigen Ressourcen:

1. Wenn Ihre Arbeitslasten Eventual Consistency tolerieren, verschieben Sie read-Vorgänge von Arbeitslasten zu Dataplex Universal Catalog.

2. Verschieben Sie Arbeitslasten, die write-Vorgänge für das Tagging ausführen, in Dataplex Universal Catalog. Koordinieren Sie dies mit dem Upgrade der entsprechenden Tag-Vorlagen.

3. Verschieben Sie Arbeitslasten, die benutzerdefinierte write-Vorgänge ausführen, in Dataplex Universal Catalog und führen Sie gleichzeitig ein Upgrade der entsprechenden benutzerdefinierten Eintragsgruppen durch.

Wenn Sie die Aktualisierung von Arbeitslasten und das Upgrade der entsprechenden Ressourcen entkoppeln müssen, sollten Sie Logik in den Arbeitslasten implementieren, um read-write basierend auf dem Status des Ressourcen-Upgrades an Data Catalog oder Dataplex Universal Catalog weiterzuleiten. Arbeitslasten werden also unabhängig vom Upgradestatus der zugehörigen Ressource ausgeführt.

Nächste Schritte

• Weitere Informationen zur Metadatenverwaltung in Dataplex Universal Catalog
• Informationen zum Suchen nach Ressourcen in Dataplex Universal Catalog
• Informationen zum Verwalten von Aspekten und Anreichern von Metadaten
• Einträge verwalten und benutzerdefinierte Quellen aufnehmen
• Weitere Informationen finden Sie in der Dataplex API-Referenz.