Dataplex Universal Catalog bietet eine zentrale Plattform zum Speichern, Verwalten und Abrufen Ihrer Metadaten. In diesem Dokument werden die Metadatenverwaltungsfunktionen von Dataplex Universal Catalog beschrieben.
Dataplex Universal Catalog bietet einen einheitlichen Bestand vonGoogle Cloud - und lokalen Ressourcen. Metadaten für Google Cloud -Ressourcen werden automatisch von Dataplex Universal Catalog abgerufen und gespeichert. Sie können auch eigene Metadaten für Drittanbieterressourcen in Dataplex Universal Catalog einfügen.
Sie können Ihr Inventar mit zusätzlichen geschäftlichen und technischen Metadaten anreichern, die den Kontext und das Wissen über Ihre Ressourcen erfassen. Sie können auch organisationsweit nach Ihren Daten suchen und diese finden sowie Data Governance für Ihre Datenassets aktivieren.
Sie können Dataplex Universal Catalog als Standardkatalog festlegen. Wenn Sie Data Catalog verwenden, stellen Sie Ihre eigenständigen Data Catalog-Inhalte und die Nutzung auf Dataplex Universal Catalog um. Weitere Informationen finden Sie unter Umstellung von Data Catalog auf Dataplex Universal Catalog.
Anwendungsfälle
Mit Dataplex Universal Catalog können Sie Folgendes tun:
Daten ermitteln und auswerten Dataplex Universal Catalog bietet einen Überblick über Ihre Datenressourcen in der gesamten Organisation. So können Sie relevante Ressourcen für den Datenverbrauch finden. Sie liefert Kontext für Datenressourcen, damit Sie die Eignung von Datenressourcen für die Anforderungen Ihrer Datenverbraucher besser einschätzen können.
Data Governance und Datenverwaltung aktivieren: Dataplex Universal Catalog liefert Metadaten, die Ihre Data Governance- und Datenverwaltungsfunktionen unterstützen können.
Ein erweiterbares und umfassendes Repository für Ihre Metadaten verwalten: Im Dataplex Universal Catalog werden Metadaten gespeichert und der Zugriff darauf ermöglicht, die automatisch aus Ihren Google Cloud Ressourcen erfasst werden. Sie können Ihre eigenen Metadaten aus Nicht-Google Cloud -Systemen einbinden. Sie können alle Metadaten mit zusätzlichen Anmerkungen zu geschäftlichen und technischen Metadaten anreichern.
Metadatenverwaltung in Dataplex Universal Catalog
Die Metadatenverwaltungsfunktionen in Dataplex Universal Catalog basieren auf den folgenden Konzepten:
Eintrag: Ein Eintrag stellt ein Daten-Asset dar. Die meisten Metadaten werden durch Aspekte in einem Eintrag beschrieben. Das ist ähnlich wie bei Einträgen in Data Catalog. Weitere Informationen finden Sie unter Einträge.
Aspekt: Ein Aspekt ist eine Gruppe zusammengehöriger Metadatenfelder in einem Eintrag. Ein Aspekt kann entweder als Baustein eines Eintrags oder als zusätzliche Metadaten interpretiert werden. Das ist ähnlich wie bei Tags in Data Catalog. Aspekte werden jedoch in Einträgen und nicht als eigenständige Ressourcen gespeichert. Weitere Informationen finden Sie unter Aspekte.
Aspekttyp: Ein Aspekttyp ist eine wiederverwendbare Vorlage für Aspekte. Jeder Aspekt ist eine Instanz eines Aspekttyps. Das ist ähnlich wie Tag-Vorlagen in Data Catalog. Weitere Informationen finden Sie unter Aspekttypen.
Eintragsgruppe: Eine Eintragsgruppe ist ein Container für Einträge, der als Verwaltungseinheit für diese Einträge dient. Sie können beispielsweise eine Eintragsgruppe verwenden, um die Zugriffssteuerung für Identity and Access Management, die Projektzuordnung oder den Standort für die Einträge in der Eintragsgruppe zu konfigurieren. Das ähnelt Eintragsgruppen in Data Catalog. Weitere Informationen finden Sie unter Eintragsgruppen.
Eintragstyp: Ein Eintragstyp ist eine Vorlage zum Erstellen von Einträgen. Darin werden die wesentlichen Metadatenelemente festgelegt, die als Liste der erforderlichen Aspekte für Einträge dieses Typs aufgeführt sind. Weitere Informationen finden Sie unter Eintragstypen.
Abbildung 1. Einträge und Eintragsgruppen 
Abbildung 2. Aspekttypen und Eintragstypen
Im Folgenden sind einige Anwendungsfälle für Metadatenverwaltungsfunktionen in Dataplex Universal Catalog aufgeführt:
- Als Datenanalyst oder Business-Analyst können Sie organisationsweit nach Einträgen suchen und die mit den Einträgen verknüpften Metadaten ansehen. Weitere Informationen finden Sie unter Nach Datenassets suchen.
- Als Dateninhaber oder Datenverantwortlicher können Sie zusätzliche technische und geschäftliche Metadaten erfassen, indem Sie Ihre Einträge mit Aspekten annotieren. Weitere Informationen finden Sie unter Aspekte verwalten und Metadaten anreichern. Informationen zum Verwalten von Geschäftsbegriffen finden Sie unter Glossare verwalten.
- Als Dateninhaber oder Datenverantwortlicher können Sie die Metadaten vereinheitlichen, indem Sie die Standards für Anmerkungen (mit Aspekttypen), Geschäftsglossare (mit Kategorien und Geschäftsbegriffen) und benutzerdefinierte Einträge (mit Eintragstypen) definieren. Weitere Informationen finden Sie unter Aspekte verwalten und Metadaten anreichern und Geschäftliche Glossare verwalten.
- Als Data Engineer können Sie ein einheitliches Inventar für Ihre Ressourcen haben, einschließlich Google Cloud Ressourcen und Ressourcen aus Drittanbietersystemen. Google Cloud Ressourcen werden automatisch von Dataplex Universal Catalog erfasst und nichtGoogle Cloud Ressourcen werden von Ihnen erfasst. Weitere Informationen finden Sie unter Einträge verwalten und benutzerdefinierte Quellen aufnehmen.
Für bestehende Data Catalog-Nutzer
Wenn Sie Data Catalog bereits verwenden, beachten Sie Folgendes:
- Benutzerdefinierte Einträge, Übersichtskontext, Glossare und Eintragsgruppen, die Sie in Data Catalog erstellt haben, sind in Dataplex Universal Catalog verfügbar.
- Als Administrator können Sie festlegen, dass die Inhalte von Data Catalog-Tag-Vorlagen und ‑Tags gleichzeitig in Dataplex Universal Catalog verfügbar gemacht werden. Weitere Informationen finden Sie unter Umstellung von Data Catalog auf Dataplex Universal Catalog.
- Wenn Sie in Dataplex Universal Catalog nach Daten-Assets suchen, werden sowohl die Metadaten, die direkt in Dataplex Universal Catalog erstellt wurden, als auch die Metadaten, die aus Data Catalog in Dataplex Universal Catalog importiert wurden, berücksichtigt.
- Wenn Sie in Data Catalog nach Daten-Assets suchen, werden nur die Metadaten berücksichtigt, die in Data Catalog erstellt wurden.
- Eintragsgruppenbeschreibungen in Data Catalog, die 1.024 Zeichen überschreiten, werden in Dataplex Universal Catalog auf 1.024 Zeichen gekürzt.
- Als Administrator können Sie Glossare und zugehörige Links zwischen Geschäftsbegriffen und Spalten, die Sie in Data Catalog erstellt haben, in Dataplex Universal Catalog verfügbar machen. Folgen Sie dazu der Umstellung.
Weitere Informationen zur Umstellung Ihrer eigenständigen Data Catalog-Inhalte und -Nutzung auf Dataplex Universal Catalog finden Sie unter Umstellung von Data Catalog auf Dataplex Universal Catalog.
Dataplex Universal Catalog im Vergleich zu Data Catalog
Dataplex Universal Catalog bietet integrierte Funktionen zum Verwalten Ihrer Metadaten. Der Metadatenspeicher und die API-Methoden sind in die Dataplex API integriert.
Die wichtigsten Funktionen zur Metadatenverwaltung in Dataplex Universal Catalog sind:
Robusteres Metamodell
- Eingegebene Einträge Sie können Mindeststandards für Metadaten erzwingen, indem Sie die erforderlichen Metadateninhalte für benutzerdefinierte Einträge definieren.
- Nutzerkonfigurierbares Metamodell für benutzerdefinierte Einträge, das die benutzerdefinierte Aufnahme robuster macht und die Konsistenz und Vollständigkeit benutzerdefinierter Metadaten verbessert.
- Unterstützung für eine größere Vielfalt und Komplexität von Metadaten, einschließlich Unterstützung für Verschachtelungsstrukturen wie Listen, Maps und Arrays.
Verbesserte Skalierbarkeit, einschließlich der Möglichkeit, über einzelne atomare CRUD-Vorgänge mit allen Metadaten zu interagieren, die mit einem Eintrag verknüpft sind, und der Möglichkeit, mehrere Metadatenanmerkungen abzurufen, die in Such- oder Listenantworten enthalten sind.
In der folgenden Tabelle werden die Metadatenverwaltungsfunktionen von Dataplex Universal Catalog und Data Catalog verglichen:
| Funktion | Dataplex Universal Catalog | Data Catalog |
|---|---|---|
| Unterstützte Google Cloud Quellen | Alle Quellen, wie im Abschnitt Unterstützte Quellen dieses Dokuments beschrieben. Google Cloud | Alle in Einträge und Eintragsgruppen beschriebenen Quellen. |
| Aufnahme benutzerdefinierter Quellen | Aufnahme in benutzerdefinierte Einträge mit einer geregelten Struktur, die durch Eintragstypen definiert wird. Benutzerdefinierte Einträge und Eintragsgruppen aus Data Catalog sind in Dataplex Universal Catalog unter dem Eintragstyp | Aufnahme in generische benutzerdefinierte Einträge. |
| Metadatenanreicherung | Der Metadatenkontext für Einträge wird mithilfe von geschäftlichen Glossaren, Aspekten und Aspekttypen erfasst. | Der Metadatenkontext für Einträge wird mithilfe von geschäftlichen Glossaren, Tags und Tag-Vorlagen erfasst. |
| Suchen | Die Suche wird in den folgenden Bereichen durchgeführt:
Die Suchergebnisse enthalten nur Ressourcen, die zur selben Organisation und zum selben VPC SC-Perimeter wie das Projekt gehören, unter dem die Suche durchgeführt wird. Wenn Sie die Google Cloud -Console verwenden, ist dies das Projekt, das in der Console ausgewählt ist. Wenn Sie nach Einträgen suchen möchten, benötigen Sie mindestens eine der folgenden IAM-Rollen für das Projekt, das für die Suche verwendet wird: Dataplex Catalog Admin, Dataplex Catalog Editor oder Dataplex Catalog Viewer. Berechtigungen für Suchergebnisse werden unabhängig vom ausgewählten Projekt geprüft. |
Die Suche wird in den folgenden Bereichen durchgeführt:
|
| Data Lineage |
Die Datenherkunft ruft Eintragsdetails für Asset-Knoten mithilfe der Dataplex API ab. In der Google Cloud Konsole werden die angehängten Aspekte angezeigt. |
Bei der Datenherkunft werden Eintragsdetails für Asset-Knoten mithilfe der Data Catalog API abgerufen. |
| Unternehmensglossare |
Mit dem Unternehmensglossar können Sie eine Taxonomie für Geschäftsbegriffe erstellen und sie mit Daten-Assets und ‑spalten verknüpfen. Mit der Suche können Sie Assets finden, die mit einem Begriff verknüpft sind. |
Mit dem Geschäftsglossar können Sie eine Taxonomie für Geschäftsbegriffe erstellen und sie Spalten zuordnen. Mit der Suche können Sie Assets finden, die mit einem Begriff verknüpft sind. |
In der folgenden Tabelle wird beschrieben, wie Ressourcen in Dataplex Universal Catalog Data Catalog-Ressourcen entsprechen:
| Dataplex Universal Catalog-Ressource | Data Catalog-Ressource | Beschreibung |
|---|---|---|
Aspekttyp (global) |
Öffentliche Tag-Vorlage | Tag-Vorlagen sind regionale Ressourcen. Sie können sie jedoch verwenden, um Tags für mehrere Regionen zu erstellen. Tag-Vorlagen entsprechen global-Aspekttypen in Dataplex Universal Catalog. |
| Optionaler Aspekt | Öffentliches Tag | Öffentliche Tags in Data Catalog entsprechen optionalen Aspekten in Dataplex Universal Catalog. |
| Eintragsgruppe | Eintragsgruppe | Für Google Cloud -Quellen werden systemeigene Eintragsgruppen wie @bigquery pro Projekt in Dataplex Universal Catalog eingerichtet. |
| Erforderliche Aspekte für benutzerdefinierte Einträge | Benutzerdefinierter Eintrag | Data Catalog und Dataplex Universal Catalog verwenden ähnliche Konzepte für benutzerdefinierte Einträge. Standardeintragseigenschaften werden in Dataplex Universal Catalog als erforderliche Aspekte modelliert. |
| Erforderliche Aspekte für die Systemeingabe | Systemeintrag (Google Cloud) | Metadaten, die integrierte Entitäten wie Schema für BigQuery-Tabellen beschreiben, werden in erforderlichen Aspekten der systemdefinierten Aspekttypen erfasst. |
| Unternehmensglossare | Unternehmensglossare | Mit Glossaren können Sie eine Taxonomie von Geschäftsbegriffen erstellen, um den geschäftlichen Kontext im gesamten Unternehmen zu standardisieren. |
Weitere Informationen zu den Funktionen, die in Data Catalog verfügbar sind, aber nicht in Dataplex Universal Catalog unterstützt werden, finden Sie in diesem Dokument im Abschnitt Metadatenverwaltungsfunktionen, die in Dataplex Universal Catalog nicht unterstützt werden.
Unterstützte Quellen
- Automatische Erkennung von Cloud Storage-Daten
- Metadaten aus den folgenden Google Cloud Quellen werden automatisch in Dataplex Universal Catalog aufgenommen:
- Austausch und Einträge für die BigQuery-Freigabe (früher Analytics Hub)
- BigQuery-Datasets, -Tabellen, -Modelle, -Routinen, -Verbindungen und verknüpfte Datasets
- Bigtable-Instanzen, -Cluster und -Tabellen (einschließlich Details zur Spaltenfamilie)
- Dataform-Repositories und Code-Assets
- Cloud SQL-Instanzen, Datenbanken, Schemas, Tabellen, Ansichten – siehe Cloud SQL-Integration aktivieren
- Dataproc Metastore-Dienste, -Datenbanken und -Tabellen
- Pub/Sub-Themen
- Spanner-Instanzen, -Datenbanken, -Tabellen und -Ansichten
- Vertex AI-Modelle, ‑Datasets, ‑Featuregruppen, ‑Featureansichten und ‑Onlinespeicherinstanzen
Wenn Sie Metadaten aus einer Drittanbieterquelle in Dataplex Universal Catalog importieren möchten, können Sie eine Pipeline für verwaltete Verbindungen verwenden.
Projekt- und Standorteinschränkungen
Katalogressourcen in Dataplex Universal Catalog werden in verschiedenen Projekten und an verschiedenen Standorten gehostet. Es gelten folgende Einschränkungen:
Standort:
- Der Standort eines Eintrags muss entweder mit dem Standort des Eintragstyps übereinstimmen oder der Eintragstyp muss
globalsein. - Einem Eintrag hinzugefügte Aspekte müssen auf einem Aspekttyp basieren, der am selben Ort wie der Eintrag gespeichert ist, oder der Aspekttyp muss
globalsein. - Ein Eintragstyp muss aus Aspekttypen bestehen, die am selben Ort wie der Eintragstyp gespeichert sind.
- Der Standort eines Eintrags muss entweder mit dem Standort des Eintragstyps übereinstimmen oder der Eintragstyp muss
Projekt:
- Wenn ein Eintragstyp auf benutzerdefinierte Aspekttypen verweist, müssen sich die Aspekttypen am selben Ort und im selben Projekt wie der Eintragstyp befinden.
Metadatenverwaltungsfunktionen, die in Dataplex Universal Catalog nicht unterstützt werden
Die folgenden Funktionen, die in Data Catalog verfügbar sind, werden in Dataplex Universal Catalog nicht unterstützt:
- Das Konzept privater Aspekte und privater Aspekttypen (Entsprechungen zu privaten Tags und privaten Tag-Vorlagen in Data Catalog) ist in Dataplex Universal Catalog nicht vorhanden.
- Die Suche nach Richtlinientags wird in der Dataplex Universal Catalog-Suche nicht unterstützt. Daher funktionieren die Prädikate
policytagundpolicytagidin der Dataplex Universal Catalog-Suche nicht. - Wenn Sie benutzerdefinierte Eintragsgruppen, benutzerdefinierte Einträge, Tag-Vorlagen und Tags aus Data Catalog in Dataplex Universal Catalog übertragen, werden die ursprünglichen Berechtigungen nicht übernommen. Sie müssen IAM-Berechtigungen für die kopierten Metadaten explizit konfigurieren, bevor Sie sie verwenden können.
- Terraform-Unterstützung für die Verwaltung von Aspekten und benutzerdefinierten Einträgen ist nicht verfügbar. Stattdessen können Sie Ihre benutzerdefinierten Metadaten programmatisch im großen Maßstab verwalten, indem Sie eine verwaltete Verbindungspipeline oder die API-Methoden für den Metadatenimport verwenden. (Terraform-Unterstützung für Eintragsgruppen, Eintragstypen und Aspekttypen ist verfügbar. Weitere Informationen finden Sie unter Dataplex Universal Catalog-Ressourcen mit Terraform bereitstellen.)
- Das Senden von Ergebnissen der Sensitive Data Protection-Prüfung direkt an den Katalog in Dataplex Universal Catalog wird nicht unterstützt. Stattdessen können Sie Ergebnisse der Sensitive Data Protection-Prüfung an Data Catalog senden und dann die Ergebnisse an Dataplex Universal Catalog übertragen.
- Mit der API können Sie keine Eintragstypen und Aspekttypen projektübergreifend auflisten. Sie können die Listenanfrage auf ein Projekt beschränken.
- Das Registrieren von Lakes, Zonen, Assets und Entitäten als Dataplex Universal Catalog-Einträge wird nicht unterstützt. Das bedeutet, dass Data Catalog-Metadaten, die an Lakes, Zonen, Assets und Entitäten angehängt sind, nicht in den Katalog in Dataplex Universal Catalog übertragen werden. Außerdem wird bei der Verwendung der Dataplex Universal Catalog-Suche die Suche nach Zonen und Entitäten nicht unterstützt. Das Filtern nach Lakes und Zonen wird ebenfalls nicht unterstützt. Sie können Lakes und Zonen unabhängig vom Katalog in Dataplex Universal Catalog verwenden.
- Die Administratorsuche, die für einen vollständigen Rückruf sorgt, wird nicht unterstützt. Stattdessen können Sie Metadaten in Cloud Storage exportieren und sie dann in BigQuery abfragen.
Einen Vergleich der Funktionen und Ressourcen, die sowohl in Dataplex Universal Catalog als auch in Data Catalog unterstützt werden, finden Sie in diesem Dokument im Abschnitt Dataplex Universal Catalog im Vergleich zu Data Catalog.
Preise
Für den Metadatenspeicher wird die SKU für den Metadatenspeicher von Dataplex Universal Catalog verwendet. Weitere Informationen finden Sie unter Dataplex Universal Catalog – Preise.
Für die Nutzung der folgenden Funktionen fallen keine Gebühren an:
- Katalogressourcen in Dataplex Universal Catalog erstellen und verwalten
- Search API-Aufrufe für Dataplex Universal Catalog
- Suchanfragen, die auf der Seite „Dataplex Universal Catalog“ in derGoogle Cloud -Konsole ausgeführt werden
Nächste Schritte
- Informationen zum Suchen nach Ressourcen im Dataplex Universal Catalog
- Informationen zum Verwalten von Assets und Anreichern von Metadaten
- Einträge verwalten und benutzerdefinierte Quellen aufnehmen
- Weitere Informationen zum Umstieg von Data Catalog auf Dataplex Universal Catalog
- Weitere Informationen zum Übertragen von Glossaren zu Dataplex Universal Catalog