Von Data Catalog auf Dataplex Universal Catalog umstellen

Wenn Sie Data Catalog verwenden, können Sie Ihre Data Catalog-Inhalte und ‑Nutzung an Dataplex Universal Catalog übertragen. Folgen Sie dazu der Anleitung in diesem Dokument.

Wenn Sie den Katalog noch nicht verwendet haben, beginnen Sie mit Dataplex Universal Catalog. Konfigurieren Sie ihn als Standardkatalog.

Dieses Dokument richtet sich an Datenadministratoren und Datenbetreuer.

Dataplex Universal Catalog hat eine einheitliche Weboberfläche und API. Wenn Sie auf Dataplex Universal Catalog umstellen, können Ihre bestehenden und zukünftigen Arbeitslasten und Nutzer von den erweiterten Funktionen profitieren. Weitere Informationen finden Sie unter Data Catalog-Verwaltung in Dataplex Universal Catalog.

Einen Vergleich von Dataplex Universal Catalog und Data Catalog finden Sie unter Dataplex Universal Catalog im Vergleich zu Data Catalog.

Bevor Sie mit der Umstellung beginnen, sollten Sie sich mit den Metadatenverwaltungsfunktionen vertraut machen, die in Dataplex Universal Catalog nicht unterstützt werden.

Übersicht zur Umstellung

Auf der Seite Umstellung auf Dataplex verwalten in der Google Cloud Console können Sie die Umstellung zentral verwalten.

In diesem Abschnitt werden die verschiedenen Übergangsszenarien beschrieben und der Übergangsprozess für jedes Szenario skizziert.

Wenn Sie keine benutzerdefinierten Metadaten in Data Catalog haben oder Data Catalog noch nie verwendet haben

Wenn Sie Data Catalog verwenden und keine benutzerdefinierten Metadaten wie Tags, Tag-Vorlagen, benutzerdefinierte Einträge oder Eintragsgruppen haben oder Data Catalog noch nie verwendet haben, führen Sie die Umstellung durch, indem Sie die Standardkatalog-UI auf Dataplex Universal Catalog festlegen.

Wenn Sie benutzerdefinierte Data Catalog-Metadaten oder programmatische Arbeitslasten haben

Wenn Sie Data Catalog mit benutzerdefinierten Metadaten wie Tags, Tag-Vorlagen, benutzerdefinierten Einträgen oder Eintragsgruppen verwenden, können diese benutzerdefinierten Metadaten automatisch als read-only in Dataplex Universal Catalog importiert werden. Um diese Funktion zu aktivieren, sind Konfigurationsänderungen erforderlich, wie in der Vorbereitungsphase beschrieben.

Die zweite Phase ist die Umstellungsphase, in der der aktive Status (read-write) Ihrer benutzerdefinierten Metadaten in Dataplex Universal Catalog verschoben wird. In dieser Phase müssen Sie auch alle programmatischen Arbeitslasten aktualisieren, z. B. APIs, Clientbibliotheken, Terraform-Module und Google Cloud CLI-Befehle, um mit dem Dataplex Universal Catalog zu interagieren.

Im Folgenden finden Sie weitere Details zu den einzelnen Phasen des Übergangs:

1. Vorbereitungsphase: Führen Sie die erforderlichen Konfigurationsaufgaben aus, damit die Data Catalog-Inhalte gleichzeitig im Dataplex Universal Catalog als read-only verfügbar sind. In dieser Phase bleibt Data Catalog die maßgebliche Quelle für Ihre Metadateninhalte.

   Die Vorbereitungsphase umfasst die folgenden Aufgaben:

   1. Aktualisieren Sie die privaten Tag-Vorlagen in Data Catalog in öffentliche.
   2. Aktivieren Sie Tag-Vorlagen und Tags, damit Metadaten gleichzeitig in Dataplex Universal Catalog verfügbar sind.
   3. Konfigurieren Sie IAM-Berechtigungen für Dataplex Universal Catalog für Ihre benutzerdefinierten Metadaten.

   Weitere Informationen finden Sie unter Vorbereitungsphase.

2. Umstellungsphase: Verschieben Sie die Katalognutzung und den aktiven Status (read-write) Ihrer benutzerdefinierten Metadaten in Dataplex Universal Catalog.

   Die Upgradephase umfasst die folgenden Aufgaben:

   1. Legen Sie die Standard-UI für den Katalog auf Dataplex Universal Catalog fest.

   2. Aktualisieren Sie die benutzerdefinierten Metadaten von Data Catalog auf Dataplex Universal Catalog.

      Sie müssen mindestens 48 Stunden warten, nachdem Sie Tag-Vorlagen und Tags aktiviert haben, bevor Sie die benutzerdefinierten Metadaten aktualisieren können. Dieser Zeitraum ist für die interne Verarbeitung erforderlich.

   3. Programmatische Arbeitslasten aktualisieren

   Nach Abschluss der Umstellung wird Dataplex Universal Catalog zur maßgeblichen Quelle für alle Ihre Metadaten und Sie müssen Data Catalog nicht mehr verwenden.

   Weitere Informationen finden Sie unter Upgradephase.

Erforderliche Rollen

Wenn Sie die Berechtigungen für die Umstellung von Data Catalog auf Dataplex Universal Catalog benötigen, gewähren Sie der Ressource die folgenden IAM-Rollen:

• Private Tag-Vorlagen in öffentliche Tag-Vorlagen umwandeln: Data Catalog-Tag-Vorlageninhaber (roles/datacatalog.tagTemplateOwner)

  Diese vordefinierte Rolle enthält die Berechtigung datacatalog.tagTemplates.update, die zum Aktualisieren privater Tag-Vorlagen auf „Öffentlich“ erforderlich ist.

• Aktivieren Sie öffentliche Tag-Vorlagen und Tags für die gleichzeitige Verfügbarkeit von Metadaten im Dataplex Universal Catalog: DataCatalog Migration Config Admin (roles/datacatalog.migrationConfigAdmin)

  Diese vordefinierte Rolle enthält die Berechtigung datacatalog.migrationConfig.set, die zum Aktivieren von Tag-Vorlagen und ‑Tags erforderlich ist.

• Standardkatalog-UI auf Dataplex Universal Catalog festlegen: DataCatalog Migration Config Admin (roles/datacatalog.migrationConfigAdmin)

  Diese vordefinierte Rolle enthält die Berechtigung datacatalog.migrationConfig.set, die zum Festlegen der Standard-UI für den Katalog erforderlich ist.

• Öffentliche Tag-Vorlagen aus dem Data Catalog auf Dataplex Universal Catalog umstellen: Data Catalog-Tag-Vorlageninhaber (roles/datacatalog.tagTemplateOwner)

  Diese vordefinierte Rolle enthält die Berechtigung datacatalog.tagTemplates.update, die zum Upgraden öffentlicher Tag-Vorlagen erforderlich ist.

• Data Catalog-Eintragsgruppen auf Dataplex Universal Catalog umstellen: DataCatalog-Eintragsgruppeninhaber (roles/datacatalog.entryGroupOwner)

  Diese vordefinierte Rolle enthält die Berechtigung datacatalog.entryGroups.update, die zum Upgraden von Eingangsgruppen erforderlich ist.

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Möglicherweise können Sie die erforderlichen Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Vorbereitungsphase

In dieser Phase werden Aufgaben ausgeführt, um die Metadateninhalte von Data Catalog gleichzeitig im Dataplex Universal Catalog im Modus read-only verfügbar zu machen.

In der Vorbereitungsphase sollten Sie Folgendes beachten:

• Data Catalog bleibt die maßgebliche Quelle für Ihre benutzerdefinierten Metadaten.
• Die Seite Suchen im Dataplex Universal Catalog verweist standardmäßig auf die Data Catalog-Suche, die nur Data Catalog-Metadaten und keine Dataplex Universal Catalog-Metadaten enthält.
• Die Dataplex Universal Catalog-Suche umfasst möglicherweise erst nach Abschluss der Vorbereitungsphase alle öffentlichen Tag-Vorlagen und Tags aus Data Catalog.

Private Tag-Vorlagen in Data Catalog in öffentliche umwandeln

Dataplex Universal Catalog unterstützt nicht das Konzept privater Aspekte (entspricht privaten Tags). Daher werden private Tag-Vorlagen und Tags nicht gleichzeitig in Dataplex Universal Catalog verfügbar gemacht. Wenn Sie private Tag-Vorlagen und Tags in Dataplex Universal Catalog weitergeben möchten, müssen Sie sie in öffentliche ändern.

Bevor Sie fortfahren, sollten Sie die Struktur der privaten Tag-Vorlagen überprüfen, um sicherzustellen, dass ihre Struktur und Metadaten mit der Sichtbarkeit öffentlicher Tags übereinstimmen.

So aktualisieren Sie private Tag-Vorlagen und Tags in öffentliche:

Opt-in für öffentliche Tag-Vorlagen und Tags für die gleichzeitige Verfügbarkeit von Metadaten im Dataplex Universal Catalog

Wenn Sie das Opt-in erteilen, werden die Inhalte von öffentlichen Tag-Vorlagen und Tags aus Data Catalog automatisch und kontinuierlich in Ihrer Google Cloud Organisation oder Ihrem Projekt an Dataplex Universal Catalog weitergegeben. Die öffentlichen Tag-Vorlagen und Tags aus Data Catalog werden als öffentliche Aspekttypen und Aspekte an Dataplex Universal Catalog weitergegeben. Definitionen von globalen Aspekttypen werden in alle Google Cloud Regionen repliziert.

So aktivieren Sie öffentliche Tag-Vorlagen und Tags:

Sowohl für Google Cloud Organisationen als auch für Projekte können Sie die ursprünglich erteilte Einwilligung widerrufen, indem Sie auf Einwilligung widerrufen klicken. Wenn Sie das Opt-in widerrufen, wird die Weitergabe von Tag-Vorlagen und Tags aus Data Catalog an den Dataplex Universal Catalog beendet. Die Dataplex Universal Catalog-Aspekttypen und ‑Aspekte, die durch das Opt-in erstellt, aber nicht auf Dataplex Universal Catalog umgestellt werden, werden gelöscht. Das kann bis zu 12 Stunden dauern.

IAM-Berechtigungen für Dataplex Universal Catalog für benutzerdefinierte Metadaten konfigurieren

Dataplex Universal Catalog-Aspekttypen und benutzerdefinierte Eintragsgruppen, die Tag-Vorlagen und Eintragsgruppen aus Data Catalog repräsentieren, übernehmen nicht die ursprünglichen Data Catalog-IAM-Berechtigungen. Sie müssen die IAM-Berechtigungen für Dataplex Universal Catalog für diese Aspekttypen und benutzerdefinierten Eintragsgruppen manuell konfigurieren.

Wenn Sie beispielsweise Aspekte mit einem weitergegebenen Aspekttyp erstellen möchten, der einer Data Catalog-Tag-Vorlage entspricht, müssen Sie die erforderlichen IAM-Berechtigungen für diesen Aspekttyp konfigurieren. Wenn Sie benutzerdefinierte Metadaten aufnehmen, müssen Sie auch die erforderlichen IAM-Berechtigungen für die entsprechende Eintragsgruppe konfigurieren, um benutzerdefinierte Einträge in einer weitergegebenen benutzerdefinierten Eintragsgruppe zu erstellen.

Weitere Informationen dazu, wie sich IAM-Berechtigungen in Data Catalog von denen im Dataplex Universal Catalog unterscheiden, finden Sie unter IAM-Berechtigungen zwischen Data Catalog und Dataplex Universal Catalog zuordnen.

So konfigurieren Sie die erforderlichen IAM-Berechtigungen für Dataplex Universal Catalog für Aspekttypen und benutzerdefinierte Eintragsgruppen:

Upgrade phase

In dieser Phase werden Aufgaben ausgeführt, um den aktiven Status (read-write) Ihrer benutzerdefinierten Data Catalog-Metadaten in Dataplex Universal Catalog zu verschieben.

Folgende Punkte sind während der Umstellungsphase wichtig:

• Die Seite Suchen im Dataplex Universal Catalog verweist standardmäßig auf die Dataplex Universal Catalog-Suche.
• Sie können sowohl die Data Catalog- als auch die Dataplex Universal Catalog-Metadaten in Dataplex Universal Catalog aufrufen und lesen.
• Wenn Sie Metadaten in der Google Cloud Console aktualisieren möchten, werden Sie zur Quelle weitergeleitet. Wenn Sie beispielsweise Data Catalog-Tag-Vorlagen aktualisieren, werden Sie zur Seite „Tag-Vorlagen“ in Data Catalog weitergeleitet.

Standardkatalog-UI auf Dataplex Universal Catalog festlegen

Wenn Sie die Standard-UI für den Katalog auf Dataplex Universal Catalog festlegen, hat das folgende Auswirkungen:

• Wenn Sie in derGoogle Cloud -Konsole die Seite Suche des Dataplex Universal Catalogs aufrufen, wird standardmäßig die Suche im Dataplex Universal Catalog (Dataplex Catalog) angezeigt. Die Suche im Dataplex Universal Catalog bezieht sich auf Dataplex Universal Catalog und findet alle Ihre Metadateninhalte, einschließlich Inhalte, die in Dataplex Universal Catalog erstellt und aus Data Catalog importiert wurden.

  Die Data Catalog-Suche findet nur Data Catalog-Inhalte, keine Dataplex Universal Catalog-Inhalte. Wir empfehlen daher, die Dataplex Universal Catalog-Suche zu verwenden.

• In der Weboberfläche werden Sie aufgefordert, neue Ressourcen im Dataplex Universal Catalog (Dataplex Catalog) zu erstellen. So wird beispielsweise standardmäßig Aspekttypen erstellen anstelle von Tag-Vorlagen erstellen und Eintragsgruppe erstellen (Dataplex Catalog) anstelle von Eintragsgruppe erstellen (Data Catalog) angezeigt.

• Das Festlegen der Standard-UI für den Katalog auf Dataplex Universal Catalog ist in der Regel ein Vorgang mit nur einer Richtung. In Dataplex Universal Catalog können Sie Änderungen jedoch in Ausnahmefällen rückgängig machen, z. B. wenn Sie die Standard-UI für den Katalog wieder auf Data Catalog umstellen möchten. Wenn Sie die Änderungen rückgängig machen, können Sie über die Data Catalog-Weboberfläche nicht auf Inhalte zugreifen, die in Dataplex Universal Catalog erstellt wurden.

So legen Sie die Standard-UI für den Katalog auf Dataplex Universal Catalog fest:

Benutzerdefinierte Data Catalog-Metadaten auf Dataplex Universal Catalog umstellen

Sie können die öffentlichen Tag-Vorlagen aus Data Catalog (für die Sie das Opt-in aktiviert haben) und benutzerdefinierte Eintragsgruppen auf Dataplex Universal Catalog umstellen. Aktualisieren Sie jede Tag-Vorlage und benutzerdefinierte Eingabegruppe separat.

Im Folgenden wird der Upgradevorgang zusammengefasst:

• Effekt

  • Der aktive Status für Ressourcen wird von Data Catalog in den Dataplex Universal Catalog übertragen. Nach dem Upgrade müssen Sie Dataplex Universal Catalog verwenden, um die Ressource zu ändern oder auf ihren aktuellen Status zuzugreifen.

• Änderungen am Dateninhalt und -fluss

  • Die Ressource wird in Data Catalog als read-only gekennzeichnet.
  • Die Ressource wird in Dataplex Universal Catalog als read-write markiert.
  • Die gleichzeitige Verfügbarkeit dieser Ressource wird beendet.

• Abhängigkeiten

  • Wenn Sie eine Tag-Vorlage aktualisieren, werden auch alle Tags aktualisiert, für die diese Vorlage verwendet wird.
  • Wenn Sie Eintragsgruppen aktualisieren, werden auch alle Einträge in dieser Gruppe aktualisiert.
  • Das Upgrade von Einträgen wirkt sich nicht auf den Upgrade-Status der zugehörigen Tags und Tag-Vorlagen aus.

Vor dem Upgrade können Sie den Geschäftskontext eines Eintrags (z. B. overview, contacts) sowohl mit der Data Catalog API als auch mit der Dataplex API ändern. Nach dem Upgrade dürfen Sie nur noch die Dataplex API verwenden.

Im Folgenden wird beschrieben, welche Vorgänge für einen getaggten benutzerdefinierten Data Catalog-Eintrag zulässig sind, je nach Upgradestatus der zugehörigen benutzerdefinierten Eintragsgruppe und Tag-Vorlage:

• Wenn eine Tag-Vorlage in Data Catalog aktiv ist, können Sie damit Tags erstellen. Nachdem Sie die Tag-Vorlage auf Dataplex Universal Catalog umgestellt haben, können Sie damit keine Tags mehr in Data Catalog erstellen.
• Sie können Aspekte mit Aspekttypen erstellen, die aus Data Catalog-Tag-Vorlagen übernommen werden, erst nachdem Sie die Tag-Vorlagen aktualisiert haben.

So führen Sie ein Upgrade der Tag-Vorlagen und benutzerdefinierten Eintragsgruppen in Data Catalog auf Dataplex Universal Catalog durch:

Nach Abschluss der Umstellung wird Dataplex Universal Catalog zur maßgeblichen Quelle für alle Ihre Metadaten und Sie müssen Data Catalog nicht mehr verwenden.

Programmatische Arbeitslasten aktualisieren

Der Dataplex Universal Catalog umfasst eine neue API, Clientbibliotheken, Terraform-Module und Google Cloud CLI-Befehle. Daher müssen Sie alle vorhandenen Arbeitslasten, die Data Catalog programmatisch nutzen, auf Dataplex Universal Catalog umstellen. Codebeispiele für Dataplex Universal Catalog

Achten Sie darauf, dass Sie die Aktualisierung programmatischer Arbeitslasten mit dem Upgrade der abhängigen Ressourcen wie Tag-Vorlagen und benutzerdefinierte Eintragsgruppen abstimmen. Das ist erforderlich, da durch das Upgrade der aktive Status (read-write) einer Ressource von Data Catalog in Dataplex Universal Catalog verschoben wird.

Im Folgenden finden Sie ein Beispiel für die Aktualisierung programmatischer Arbeitslasten, um mit Dataplex Universal Catalog zu interagieren, koordiniert mit dem Upgrade der abhängigen Ressourcen:

1. Wenn Ihre Arbeitslasten die zeitnahe Konsistenz tolerieren, verschieben Sie read-Vorgänge von Arbeitslasten in den Dataplex Universal Catalog.

2. Verschieben Sie Arbeitslasten, die Tagging-write-Vorgänge ausführen, in Dataplex Universal Catalog und aktualisieren Sie gleichzeitig die entsprechenden Tag-Vorlagen.

3. Verschieben Sie Arbeitslasten, die benutzerdefinierte Datenaufnahmevorgänge write ausführen, in Dataplex Universal Catalog. Dies sollte mit der Umstellung der entsprechenden benutzerdefinierten Eintragsgruppen koordiniert werden.

Wenn Sie die Aktualisierung von Arbeitslasten und das Upgrade der entsprechenden Ressourcen voneinander trennen möchten, können Sie in den Arbeitslasten Logik implementieren, um read-write basierend auf dem Status des Ressourcen-Upgrades an Data Catalog oder Dataplex Universal Catalog weiterzuleiten. Arbeitslasten werden also unabhängig vom Umstellungsstatus der zugehörigen Ressource ausgeführt.

Nächste Schritte

• Weitere Informationen zur Metadatenverwaltung in Dataplex Universal Catalog
• Weitere Informationen zum Suchen nach Ressourcen im Dataplex Universal Catalog
• Weitere Informationen zum Verwalten von Aspekten und zum Anreichern von Metadaten
• Informationen zum Verwalten von Einträgen und zum Aufnehmen benutzerdefinierter Quellen
• Weitere Informationen finden Sie in der Dataplex API-Referenz.