Von Data Catalog auf Universal Catalog (Dataplex Catalog) umstellen

Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.

Wenn Sie Data Catalog verwenden, können Sie die Inhalte und die Nutzung von Data Catalog mithilfe der in diesem Dokument beschriebenen Schritte auf den universellen BigQuery-Katalog umstellen.

Wenn Sie den Katalog noch nicht verwendet haben, beginnen Sie mit dem Universalkatalog. Konfigurieren Sie ihn als Standardkatalog.

Dieses Dokument richtet sich an Datenadministratoren und Datenbetreuer.

Der Universelle Katalog hat eine neue Webansicht und API. Wenn Sie zum Universalkatalog wechseln, können Ihre bestehenden und zukünftigen Arbeitslasten und Nutzer von den erweiterten Funktionen profitieren. Weitere Informationen finden Sie unter Universalkatalog.

Einen Vergleich zwischen dem Universal Catalog und Data Catalog finden Sie unter Universal Catalog und Data Catalog im Vergleich.

Bevor Sie mit der Umstellung beginnen, sollten Sie sich über die im Universalkatalog nicht unterstützten Funktionen informieren.

Übersicht zur Umstellung

Auf der Seite Umstellung auf Dataplex verwalten in der Google Cloud Console können Sie die Umstellung zentral verwalten.

In diesem Abschnitt werden die verschiedenen Übergangsszenarien beschrieben und der Übergangsprozess für jedes der Szenarien skizziert.

Wenn Sie keine benutzerdefinierten Metadaten in Data Catalog haben oder Data Catalog noch nie verwendet haben

Wenn Sie Data Catalog verwenden und keine benutzerdefinierten Metadaten wie Tags, Tag-Vorlagen, benutzerdefinierte Einträge oder Eintragsgruppen haben oder Data Catalog noch nie verwendet haben, schließen Sie die Umstellung ab, indem Sie die Standard-UI für den Katalog auf den Universalkatalog festlegen.

Wenn Sie benutzerdefinierte Data Catalog-Metadaten oder programmatische Arbeitslasten haben

Wenn Sie Data Catalog mit benutzerdefinierten Metadaten wie Tags, Tag-Vorlagen, benutzerdefinierten Einträgen oder Eintragsgruppen verwenden, kann Dataplex diese benutzerdefinierten Metadaten automatisch als read-only in den Universal Catalog importieren. Um diese Funktion zu aktivieren, sind Konfigurationsänderungen erforderlich, wie in der Vorbereitungsphase beschrieben.

Die zweite Phase ist die Übertragungsphase, in der der aktive Status (read-write) Ihrer benutzerdefinierten Metadaten in den Universalkatalog verschoben wird. In dieser Phase müssen Sie auch alle programmatischen Arbeitslasten aktualisieren, z. B. APIs, Clientbibliotheken, Terraform-Module und Google Cloud CLI-Befehle, um mit dem Universalkatalog zu interagieren.

Im Folgenden finden Sie weitere Details zu den einzelnen Phasen des Übergangs:

1. Vorbereitungsphase: Führen Sie die erforderlichen Konfigurationsaufgaben aus, damit die Data Catalog-Inhalte gleichzeitig im Universalkatalog als read-only verfügbar sind. In dieser Phase bleibt Data Catalog die maßgebliche Quelle für Ihre Metadateninhalte.

   Die Vorbereitungsphase umfasst die folgenden Aufgaben:

   1. Aktualisieren Sie die privaten Tag-Vorlagen in Data Catalog in öffentliche.
   2. Aktivieren Sie Tag-Vorlagen und Tags, damit Metadaten gleichzeitig im Universalkatalog verfügbar sind.
   3. Konfigurieren Sie Dataplex-IAM-Berechtigungen für Ihre benutzerdefinierten Metadaten.

   Weitere Informationen finden Sie unter Vorbereitungsphase.

2. Übertragungsphase: Verschieben Sie die Katalognutzung und den aktiven Status (read-write) Ihrer benutzerdefinierten Metadaten in den Universalkatalog.

   Die Übertragungsphase umfasst die folgenden Aufgaben:

   1. Legen Sie die Standard-UI für den Katalog auf „Universeller Katalog“ fest.

   2. Übertragen Sie die benutzerdefinierten Data Catalog-Metadaten in den Universal Catalog.

      Sie müssen mindestens 48 Stunden warten, nachdem Sie Tag-Vorlagen und Tags aktiviert haben, bevor Sie die benutzerdefinierten Metadaten übertragen können. Dieser Zeitraum ist für die interne Verarbeitung erforderlich.

   3. Programmatische Arbeitslasten aktualisieren

   Wenn Sie die Übertragungsphase abgeschlossen haben, wird der Universal Catalog zur maßgeblichen Quelle für alle Ihre Metadaten und Sie müssen Data Catalog nicht mehr verwenden.

   Weitere Informationen finden Sie unter Übertragungsphase.

Erforderliche Rollen

Wenn Sie die Berechtigungen zum Wechseln vom Data Catalog zum Universal Catalog benötigen, gewähren Sie der Ressource die folgenden IAM-Rollen:

• Private Tag-Vorlagen in öffentliche Tag-Vorlagen umwandeln: Data Catalog-Tag-Vorlageninhaber (roles/datacatalog.tagTemplateOwner)

  Diese vordefinierte Rolle enthält die Berechtigung datacatalog.tagTemplates.update, die zum Aktualisieren privater Tag-Vorlagen auf „Öffentlich“ erforderlich ist.

• Öffentliche Tag-Vorlagen und -Tags aktivieren, damit Metadaten gleichzeitig im Universalkatalog verfügbar sind: DataCatalog Migration Config Admin (roles/datacatalog.migrationConfigAdmin)

  Diese vordefinierte Rolle enthält die Berechtigung datacatalog.migrationConfig.set, die zum Aktivieren von Tag-Vorlagen und ‑Tags erforderlich ist.

• Standard-UI für Katalog auf Universal Catalog festlegen: DataCatalog Migration Config Admin (roles/datacatalog.migrationConfigAdmin)

  Diese vordefinierte Rolle enthält die Berechtigung datacatalog.migrationConfig.set, die zum Festlegen der Standardoberfläche für Kataloge erforderlich ist.

• Öffentliche Tag-Vorlagen aus dem Data Catalog in den Universal Catalog übertragen: Data Catalog-Tag-Vorlageninhaber (roles/datacatalog.tagTemplateOwner)

  Diese vordefinierte Rolle enthält die Berechtigung datacatalog.tagTemplates.update, die zum Übertragen öffentlicher Tag-Vorlagen erforderlich ist.

• Data Catalog-Eintragsgruppen in den Universalkatalog übertragen: Inhaber von DataCatalog-Eintragsgruppen (roles/datacatalog.entryGroupOwner)

  Diese vordefinierte Rolle enthält die Berechtigung datacatalog.entryGroups.update, die zum Übertragen von Eingangsgruppen erforderlich ist.

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Möglicherweise können Sie die erforderlichen Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Vorbereitungsphase

In dieser Phase werden Aufgaben ausgeführt, um die Metadateninhalte von Data Catalog gleichzeitig im Universalkatalog im Modus read-only verfügbar zu machen.

In der Vorbereitungsphase sollten Sie Folgendes beachten:

• Data Catalog bleibt die maßgebliche Quelle für Ihre benutzerdefinierten Metadaten.
• Die Seite Dataplex-Suche verweist standardmäßig auf die Data Catalog-Suche, die nur Data Catalog-Metadaten und keine Universal Catalog-Metadaten enthält.
• Die Universal Catalog-Suche umfasst möglicherweise erst nach Abschluss der Vorbereitungsphase alle öffentlichen Tag-Vorlagen und Tags in Data Catalog.

Private Tag-Vorlagen in Data Catalog in öffentliche umwandeln

Der Universalkatalog unterstützt nicht das Konzept privater Aspekte (entspricht privaten Tags). Daher werden private Tag-Vorlagen und Tags nicht gleichzeitig im Universal Catalog verfügbar gemacht. Wenn Sie private Tag-Vorlagen und Tags im Universal Catalog verwenden möchten, müssen Sie sie in öffentliche ändern.

Bevor Sie fortfahren, sollten Sie die Struktur der privaten Tag-Vorlagen überprüfen, um sicherzustellen, dass ihre Struktur und Metadaten mit der Sichtbarkeit öffentlicher Tags übereinstimmen.

So aktualisieren Sie private Tag-Vorlagen und Tags in öffentliche:

Opt-in für öffentliche Tag-Vorlagen und Tags für die gleichzeitige Verfügbarkeit von Metadaten im Universal Catalog

Wenn Sie das Opt-in erteilen, werden die Inhalte von öffentlichen Tag-Vorlagen und Tags aus Data Catalog automatisch und kontinuierlich an den universellen BigQuery-Katalog in Ihrer Google Cloud Organisation oder Ihrem Projekt weitergegeben. Die öffentlichen Tag-Vorlagen und Tags aus Data Catalog werden als öffentliche Aspekttypen bzw. Aspekte an den universellen BigQuery-Katalog weitergegeben. Definitionen von globalen Aspekttypen werden in alle Google Cloud Regionen repliziert.

So aktivieren Sie öffentliche Tag-Vorlagen und Tags:

Sowohl für Google Cloud Organisationen als auch für Projekte können Sie die ursprünglich erteilte Einwilligung widerrufen, indem Sie auf Einwilligung widerrufen klicken. Wenn Sie das Opt-in widerrufen, wird die Weitergabe von Tag-Vorlagen und Tags aus Data Catalog an den universellen BigQuery-Katalog beendet. Die Aspekttypen und ‑Aspekte des universellen BigQuery-Katalogs, die durch das Opt-in-Verfahren erstellt, aber nicht in den universellen BigQuery-Katalog übertragen wurden, werden gelöscht. Das kann bis zu 12 Stunden dauern.

IAM-Berechtigungen für den universellen BigQuery-Katalog für benutzerdefinierte Metadaten konfigurieren

Universal Catalog-Aspekttypen und benutzerdefinierte Eintragsgruppen, die Tag-Vorlagen und Eintragsgruppen aus Data Catalog repräsentieren, übernehmen nicht die ursprünglichen Data Catalog-IAM-Berechtigungen. Sie müssen die Dataplex-IAM-Berechtigungen für diese Aspekttypen und benutzerdefinierten Eintragsgruppen manuell konfigurieren.

Wenn Sie beispielsweise Aspekte mit einem weitergegebenen Aspekttyp erstellen möchten, der eine Data Catalog-Tag-Vorlage darstellt, müssen Sie die erforderlichen IAM-Berechtigungen für diesen Aspekttyp konfigurieren. Wenn Sie benutzerdefinierte Metadaten aufnehmen, müssen Sie auch die erforderlichen IAM-Berechtigungen für die entsprechende Eintragsgruppe konfigurieren, um benutzerdefinierte Einträge in einer weitergegebenen benutzerdefinierten Eintragsgruppe zu erstellen.

Weitere Informationen dazu, wie sich IAM-Berechtigungen im Data Catalog von denen im Universal Catalog unterscheiden, finden Sie unter IAM-Berechtigungen zwischen Data Catalog und Universal Catalog zuordnen.

So konfigurieren Sie die erforderlichen Dataplex-IAM-Berechtigungen für Aspekttypen und benutzerdefinierte Eintragsgruppen:

Übertragungsphase

In dieser Phase werden Aufgaben ausgeführt, um den aktiven Status (read-write) Ihrer benutzerdefinierten Data Catalog-Metadaten in den Universal Catalog zu verschieben.

Beachten Sie während der Übertragungsphase die folgenden Punkte:

• Die Seite Suche in Dataplex verweist standardmäßig auf die universelle Katalogsuche.
• Sie können sowohl die Data Catalog- als auch die Universal Catalog-Metadaten im Universal Catalog ermitteln und lesen.
• Wenn Sie Metadaten in der Google Cloud Console aktualisieren möchten, werden Sie zur Quelle weitergeleitet. Wenn Sie beispielsweise Data Catalog-Tag-Vorlagen aktualisieren, werden Sie zur Seite „Tag-Vorlagen“ in Data Catalog weitergeleitet.

Standard-UI für Katalog auf universellen Katalog festlegen

Wenn Sie die Standard-UI für den Katalog auf den universellen Katalog festlegen, hat das folgende Auswirkungen:

• Wenn Sie in derGoogle Cloud -Konsole die Seite Dataplex Search aufrufen, wird standardmäßig die Suche im Universalkatalog (Dataplex Catalog) angezeigt. Die Suche im Universal Catalog bezieht sich auf den Universal Catalog und findet alle Ihre Metadateninhalte, einschließlich Inhalte, die im Universal Catalog erstellt und aus Data Catalog importiert wurden.

  Bei der Data Catalog-Suche werden nur Data Catalog-Inhalte gefunden, keine Inhalte des Universal Catalogs. Wir empfehlen daher, die universelle Katalogsuche zu verwenden.

• In der Weboberfläche werden Sie aufgefordert, neue Ressourcen im Universalkatalog (Dataplex Catalog) zu erstellen. So wird beispielsweise standardmäßig Aspekttypen erstellen anstelle von Tag-Vorlagen erstellen und Eintragsgruppe erstellen (Dataplex Catalog) anstelle von Eintragsgruppe erstellen (Data Catalog) angezeigt.

• Das Festlegen der Standard-UI für den Katalog auf den universellen Katalog ist in der Regel ein Einwegvorgang. In Dataplex können Sie Änderungen jedoch in Ausnahmefällen rückgängig machen, z. B. wenn Sie die Standard-UI für den Katalog wieder auf Data Catalog umstellen möchten. Wenn Sie die Änderungen rückgängig machen, können Sie über die Data Catalog-Weboberfläche nicht auf Inhalte zugreifen, die im Universal Catalog erstellt wurden.

So legen Sie die Standard-UI für den Katalog auf den Universalkatalog fest:

Benutzerdefinierte Data Catalog-Metadaten in den Universalkatalog übertragen

Sie können die öffentlichen Tag-Vorlagen aus Data Catalog (für die Sie das Opt-in aktiviert haben) und benutzerdefinierte Eintragsgruppen in den Universal Catalog übertragen. Übertragen Sie jede Tag-Vorlage und jede benutzerdefinierte Eintragsgruppe separat.

Im Folgenden wird der Übertragungsprozess zusammengefasst:

• Effekt

  • Der aktive Status für Ressourcen wird von Data Catalog in den Universal Catalog übertragen. Wenn Sie die Ressource nach der Übertragung ändern oder auf ihren aktuellen Status zugreifen möchten, müssen Sie den Universal Catalog verwenden.

• Änderungen am Dateninhalt und -fluss

  • Die Ressource wird in Data Catalog als read-only gekennzeichnet.
  • Die Ressource wird im Universalkatalog als read-write gekennzeichnet.
  • Die gleichzeitige Verfügbarkeit dieser Ressource wird beendet.

• Abhängigkeiten

  • Wenn Sie eine Tag-Vorlage übertragen, werden auch alle Tags übertragen, für die diese Vorlage verwendet wird.
  • Beim Übertragen von Eintragsgruppen werden auch alle darin enthaltenen Einträge übertragen.
  • Die Übertragung von Einträgen wirkt sich nicht auf den Übertragungsstatus der zugehörigen Tags und Tag-Vorlagen aus.

Wenn Sie vor der Übertragung den Geschäftskontext eines Eintrags (z. B. overview, contacts) ändern möchten, können Sie sowohl die Data Catalog API als auch die Dataplex API verwenden. Nach der Übertragung dürfen Sie nur noch die Dataplex API verwenden.

Im Folgenden wird beschrieben, welche Vorgänge für einen getaggten benutzerdefinierten Data Catalog-Eintrag zulässig sind, je nach Übertragungsstatus der zugehörigen benutzerdefinierten Eintragsgruppe und Tag-Vorlage:

• Wenn eine Tag-Vorlage in Data Catalog aktiv ist, können Sie damit Tags erstellen. Nachdem Sie die Tag-Vorlage in den Universal Catalog übertragen haben, können Sie damit keine Tags mehr in Data Catalog erstellen.
• Sie können Aspekte mit Aspekttypen erstellen, die aus Data Catalog-Tag-Vorlagen übernommen werden, erst nachdem Sie die Tag-Vorlagen übertragen haben.

So übertragen Sie die Tag-Vorlagen und benutzerdefinierten Eintragsgruppen aus Data Catalog in den Universal Catalog:

Wenn Sie die Übertragungsphase abgeschlossen haben, wird der Universalkatalog zur maßgeblichen Quelle für alle Ihre Metadaten und Sie müssen Data Catalog nicht mehr verwenden.

Programmatische Arbeitslasten aktualisieren

Der Universalkatalog umfasst eine neue API, Clientbibliotheken, Terraform-Module und Google Cloud CLI-Befehle. Daher müssen Sie alle vorhandenen Arbeitslasten, die den Data Catalog programmatisch verwenden, auf den Universal Catalog umstellen. Codebeispiele für Dataplex

Achten Sie darauf, dass Sie die Aktualisierung programmatischer Arbeitslasten mit der Übertragung der abhängigen Ressourcen wie Tag-Vorlagen und benutzerdefinierte Eintragsgruppen abstimmen. Das ist erforderlich, da durch die Übertragung der aktive Status (read-write) einer Ressource aus Data Catalog in den Universal Catalog verschoben wird.

Im Folgenden findest du ein Beispiel für die Aktualisierung programmatischer Arbeitslasten, um mit dem Universalkatalog zu interagieren, koordiniert mit der Übertragung der abhängigen Ressourcen:

1. Wenn Ihre Arbeitslasten die eventuale Konsistenz tolerieren, verschieben Sie read-Vorgänge von Arbeitslasten in den Universalkatalog.

2. Verschieben Sie Arbeitslasten, die Tagging-write-Vorgänge ausführen, in den Universal Catalog und übertragen Sie gleichzeitig die entsprechenden Tag-Vorlagen.

3. Verschieben Sie Arbeitslasten, die benutzerdefinierte Datenaufnahmevorgänge write ausführen, in den Universal Catalog. Dabei werden die entsprechenden benutzerdefinierten Eintragsgruppen übertragen.

Wenn Sie die Aktualisierung von Arbeitslasten und die Übertragung entsprechender Ressourcen entkoppeln möchten, sollten Sie in den Arbeitslasten eine Logik implementieren, um read-write basierend auf dem Status der Ressourcenübertragung an den Data Catalog oder Universal Catalog weiterzuleiten. Arbeitslasten werden also unabhängig vom Übertragungsstatus der zugehörigen Ressource ausgeführt.

Nächste Schritte

• Weitere Informationen zum Universalkatalog
• Weitere Informationen zur Suche nach Ressourcen im Universal Catalog
• Weitere Informationen zum Verwalten von Aspekten und zum Anreichern von Metadaten im Universalkatalog
• Weitere Informationen zum Verwalten von Einträgen und zum Aufnehmen benutzerdefinierter Quellen in den Universalkatalog
• Weitere Informationen finden Sie in der Universal Catalog API-Referenz.