In diesem Dokument werden die Funktionen zur Verwaltung des Datenkatalogs im Universal Catalog beschrieben. Der Universal Catalog bietet eine Plattform zum Speichern, Verwalten und Aufrufen von Metadaten.
Der Universalkatalog bietet ein einheitliches Inventar vonGoogle Cloud - und lokalen Ressourcen. Der Universalkatalog ruft automatisch Metadaten für Google Cloud -Ressourcen ab. Sie fügen Metadaten für Drittanbieterressourcen dem Universalkatalog hinzu.
Mit dem Universalkatalog können Sie Ihr Inventar mit zusätzlichen geschäftlichen und technischen Metadaten anreichern, um den Kontext und das Wissen über Ihre Ressourcen zu erfassen. Mit dem Universal Catalog können Sie Ihre Daten in der gesamten Organisation suchen und finden und die Datenverwaltung für Ihre Daten-Assets aktivieren.
Sie können den Universalkatalog als Standardkatalog festlegen. Wenn Sie Data Catalog verwenden, stellen Sie die Inhalte und die Nutzung von Data Catalog auf den Universal Catalog um. Weitere Informationen finden Sie unter Übergang vom Data Catalog zum BigQuery Universal Catalog.
Anwendungsfälle
Mit dem Universalkatalog haben Sie folgende Möglichkeiten:
Daten ermitteln und auswerten Der Universal Catalog bietet einen Überblick über Ihre Datenressourcen in der gesamten Organisation. Sie können damit relevante Ressourcen für den Datenverbrauch finden. Sie liefert Kontext für Datenressourcen, anhand dessen Sie die Eignung von Datenressourcen für die Anforderungen Ihrer Datennutzer besser nachvollziehen können.
Data Governance und Datenverwaltung aktivieren Der Universal Catalog liefert Metadaten, die Ihre Datenverwaltung und -governance unterstützen können.
Ein erweiterbares und umfassendes Repository für Ihre Metadaten bereitstellen Der Universalkatalog speichert und bietet Zugriff auf Metadaten, die automatisch aus Ihren Google Cloud -Ressourcen erfasst werden. Sie können eigene Metadaten aus anderen Systemen einbinden.Google Cloud Sie können alle Metadaten mit zusätzlichen Anmerkungen zu Geschäfts- und technischen Metadaten anreichern.
So funktioniert die Datenkatalogverwaltung im Universalkatalog
Die Funktionen zur Verwaltung des Datenkatalogs im Universal Catalog basieren auf den folgenden Konzepten:
Eintrag: Ein Eintrag stellt ein Daten-Asset dar. Die meisten Metadaten werden in einem Eintrag durch Aspekte beschrieben. Das ist vergleichbar mit Einträgen im Data Catalog. Weitere Informationen finden Sie unter Einträge.
Aspekt: Ein Aspekt ist ein Satz zusammengehöriger Metadatenfelder in einem Eintrag. Ein Aspekt kann entweder als Baustein eines Eintrags oder als zusätzliche Metadaten interpretiert werden. Das ähnelt Tags im Data Catalog. Allerdings werden Aspekte in Einträgen und nicht als eigenständige Ressourcen gespeichert. Weitere Informationen finden Sie unter Aspekte.
Aspekttyp: Ein Aspekttyp ist eine wiederverwendbare Vorlage für Aspekte. Jeder Aspekt ist eine Instanz eines Aspekttyps. Das ähnelt Tag-Vorlagen in Data Catalog. Weitere Informationen finden Sie unter Aspekttypen.
Eintragsgruppe: Eine Eintragsgruppe ist ein Container für Einträge, der als Verwaltungseinheit für diese Einträge dient. Sie können beispielsweise eine Eintragsgruppe verwenden, um die Zugriffssteuerung von Identity and Access Management, die Projektzuordnung oder den Standort für die Einträge in der Eintragsgruppe zu konfigurieren. Das ähnelt Eintragsgruppen in Data Catalog. Weitere Informationen finden Sie unter Eintragsgruppen.
Eintragstyp: Ein Eintragstyp ist eine Vorlage zum Erstellen von Einträgen. Es legt die wesentlichen Metadatenelemente fest, die als Liste der erforderlichen Aspekte für Einträge dieses Typs dargestellt werden. Weitere Informationen finden Sie unter Eintragstypen.
Abbildung 1. Einträge und Eintragsgruppen 
Abbildung 2. Aspekt- und Eintragstypen
Im Folgenden sind einige Anwendungsfälle für den Universalkatalog aufgeführt:
- Als Datenanalyst oder Unternehmensanalyst können Sie nach Einträgen in der gesamten Organisation suchen und Metadaten untersuchen, die mit den Einträgen verknüpft sind. Weitere Informationen finden Sie unter Nach Datenassets suchen.
- Als Dateninhaber oder Datenverantwortlicher können Sie zusätzliche technische und geschäftliche Metadaten erfassen, indem Sie Ihre Einträge mit Aspekten annotieren. Weitere Informationen finden Sie unter Aspekte verwalten und Metadaten anreichern.
- Als Dateninhaber oder Datenverantwortlicher können Sie für Einheitlichkeit bei Ihren Metadaten sorgen, indem Sie die Standards für Anmerkungen (mithilfe von Aspekttypen) und benutzerdefinierte Einträge (mithilfe von Eintragstypen) definieren. Weitere Informationen finden Sie unter Aspekte verwalten und Metadaten anreichern.
- Als Dateningenieur können Sie ein einheitliches Inventar für Ihre Ressourcen haben, einschließlich Google Cloud -Ressourcen und Ressourcen von Drittanbietersystemen.Google Cloud -Ressourcen werden automatisch vom Universalkatalog erfasst und nichtGoogle Cloud -Ressourcen von Ihnen. Weitere Informationen finden Sie unter Einträge verwalten und benutzerdefinierte Quellen aufnehmen.
Für bestehende Data Catalog-Nutzer
Wenn Sie Data Catalog bereits verwenden, beachten Sie Folgendes:
- Benutzerdefinierte Einträge, Übersichtskontext und Eintragsgruppen, die Sie in Data Catalog erstellt haben, werden im Universal Catalog verfügbar gemacht.
- Als Administrator können Sie festlegen, dass die Inhalte von Tag-Vorlagen und Tags aus Data Catalog gleichzeitig im Universal Catalog verfügbar gemacht werden. Weitere Informationen finden Sie unter Übergang vom Data Catalog zum BigQuery Universal Catalog.
- Wenn Sie im Universal Catalog nach Daten-Assets suchen, werden sowohl die Metadaten berücksichtigt, die direkt im Universal Catalog erstellt wurden, als auch die Metadaten, die aus Data Catalog in den Universal Catalog importiert wurden.
- Wenn Sie in Data Catalog nach Datenassets suchen, werden nur die Metadaten berücksichtigt, die in Data Catalog erstellt wurden.
- Beschreibungen von Eintragsgruppen im Data Catalog, die mehr als 1.024 Zeichen umfassen, werden im Universal Catalog auf 1.024 Zeichen gekürzt.
Weitere Informationen zur Umstellung Ihrer Data Catalog-Inhalte und -Nutzung auf den Universalkatalog finden Sie unter Vom Data Catalog zum BigQuery Universal Catalog wechseln.
Universal Catalog und Data Catalog im Vergleich
Universal Catalog bietet eine Möglichkeit, Ihre Metadaten in Dataplex zu verwalten. Er bietet einen separaten Metadatenspeicher und eine neue Reihe von API-Methoden, die in die Dataplex API eingebunden sind.
Zu den wichtigsten Funktionen des Datenkatalogs im Universalkatalog gehören:
Robusteres Metamodell
- Eingegebene Einträge Sie können Mindeststandards für Metadaten erzwingen, indem Sie den erforderlichen Metadateninhalt für benutzerdefinierte Einträge definieren.
- Ein vom Nutzer konfigurierbares Metamodell für benutzerdefinierte Einträge, das die benutzerdefinierte Datenaufnahme robuster macht und die Konsistenz und Vollständigkeit benutzerdefinierter Metadaten verbessert.
- Unterstützung für eine größere Vielfalt und Komplexität von Metadaten, einschließlich Unterstützung für verschachtelte Strukturen wie Listen, Karten und Arrays.
Verbesserte Skalierbarkeit, einschließlich der Möglichkeit, über einzelne atomare CRUD-Vorgänge mit allen Metadaten zu interagieren, die mit einem Eintrag verknüpft sind, und der Möglichkeit, mehrere Metadaten-Hinweise abzurufen, die in Such- oder Listenantworten verknüpft sind.
In der folgenden Tabelle werden die Funktionen des Universal Catalogs und des Data Catalogs verglichen:
| Funktion | Universalkatalog | Data Catalog |
|---|---|---|
| Unterstützte Google Cloud -Quellen | Alle Quellen, die im Abschnitt Unterstützte Quellen Google Cloud dieses Dokuments beschrieben sind. | Alle Quellen, die unter Einträge und Eintragsgruppen beschrieben werden. |
| Datenaufnahme für benutzerdefinierte Quellen | Datenaufnahme in benutzerdefinierte Einträge mit einer verwalteten Struktur, die durch Eintragstypen definiert ist. Benutzerdefinierte Einträge und Eintragsgruppen aus Data Catalog sind im Universal Catalog unter dem Eintragstyp | Datenaufnahme in generischen benutzerdefinierten Einträgen |
| Metadatenanreicherung | Der Metadatenkontext für Einträge wird mithilfe von Aspekten und Aspekttypen erfasst. | Der Metadatenkontext für Einträge wird mithilfe von Tags und Tag-Vorlagen erfasst. |
| Suchen | Die Suche wird in folgenden Bereichen durchgeführt:
Die Suchergebnisse enthalten nur Ressourcen, die derselben Organisation und demselben VPC SC-Perimeter wie das Projekt angehören, in dem die Suche ausgeführt wird. Wenn Sie die Google Cloud Console verwenden, ist dies das Projekt, das in der Console ausgewählt ist. Wenn Sie nach Einträgen suchen möchten, benötigen Sie mindestens eine der IAM-Rollen für den Universal Catalog (Dataplex Catalog) für das Projekt, das für die Suche verwendet wird. Berechtigungen für Suchergebnisse werden unabhängig vom ausgewählten Projekt geprüft. |
Die Suche wird in folgenden Bereichen durchgeführt:
|
| Data Lineage |
Bei der Datenabstammung werden Eintragsdetails für Asset-Knoten mithilfe der Dataplex API abgerufen. In der Google Cloud Console werden angehängte Aspekte angezeigt. |
Über die Data Catalog API werden Eintragsdetails für Asset-Knoten abgerufen. In der Google Cloud Console werden angehängte Tags und Glossarbegriffe angezeigt. |
In der folgenden Tabelle wird beschrieben, wie Universal Catalog-Ressourcen Data Catalog-Ressourcen entsprechen:
| Universeller Katalog | Data Catalog-Ressource | Beschreibung |
|---|---|---|
Aspekttyp (global) |
Vorlage für öffentliches Tag | Tagvorlagen sind regionale Ressourcen. Sie können sie jedoch verwenden, um regionsweise Tags zu erstellen. Tag-Vorlagen entsprechen global-Aspekttypen im Universalkatalog. |
| Optionaler Aspekt | Öffentliches Tag | Öffentliche Tags in Data Catalog entsprechen optionalen Aspekten im Universal Catalog. |
| Eintragsgruppe | Eintragsgruppe | Für Google Cloud Quellen werden Systemeintragsgruppen wie @bigquery pro Projekt im Universalkatalog eingerichtet. |
| Erforderliche Aspekte für benutzerdefinierte Einträge | Benutzerdefinierter Eintrag | Data Catalog und Universal Catalog haben ähnliche Konzepte für benutzerdefinierte Einträge. Standardeintragseigenschaften werden im Universalkatalog als erforderliche Aspekte modelliert. |
| Erforderliche Aspekte für den Systemzugriff | Eintrag „System“ (Google Cloud) | Metadaten, die vordefinierte Entitäten beschreiben, z. B. Schema für BigQuery-Tabellen, werden in erforderlichen Aspekten der systemdefinierten Aspekttypen erfasst. |
Weitere Informationen zu den Funktionen, die im Data Catalog verfügbar, aber im Universal Catalog nicht unterstützt werden, finden Sie in diesem Dokument im Abschnitt Im Universal Catalog nicht unterstützte Funktionen.
Unterstützte Quellen
Metadaten aus den folgenden Google Cloud Quellen werden automatisch in den Universalkatalog aufgenommen:
- Anzeigenplattformen und Einträge für BigQuery Sharing (früher Analytics Hub)
- BigQuery-Datasets, -Tabellen, -Modelle, -Routinen, -Verbindungen und verknüpfte Datasets
- Bigtable-Instanzen, -Cluster und -Tabellen (einschließlich Details zur Spaltenfamilie)
- Dataform-Repositories und Code-Assets
- Cloud SQL-Instanzen, ‑Datenbanken, ‑Schemas, ‑Tabellen und ‑Ansichten: Cloud SQL-Integration aktivieren
- Dataproc Metastore-Dienste, -Datenbanken und -Tabellen
- Pub/Sub-Themen
- Spanner-Instanzen, ‑Datenbanken, ‑Tabellen und ‑Ansichten
- Vertex AI-Modelle, Datasets, Featuregruppen, Featureansichten und Onlinespeicherinstanzen
Wenn du Metadaten aus einer Drittanbieterquelle in den Universalkatalog importieren möchtest, kannst du eine verwaltete Verbindungspipeline verwenden.
Projekt- und Standorteinschränkungen
Ressourcen des Universalkatalogs befinden sich in verschiedenen Projekten und an verschiedenen Standorten. Es gelten folgende Einschränkungen:
Standort:
- Der Speicherort eines Eintrags muss entweder mit dem Speicherort des Eintragstyps übereinstimmen oder der Eintragstyp muss
globalsein. - Ein einem Eintrag hinzugefügter Aspekt muss auf einem Aspekttyp basieren, der sich am selben Speicherort wie der Eintrag befindet, oder der Aspekttyp muss
globalsein. - Ein Eintragstyp muss aus Aspekttypen bestehen, die am selben Speicherort wie der Eintragstyp gespeichert sind.
- Der Speicherort eines Eintrags muss entweder mit dem Speicherort des Eintragstyps übereinstimmen oder der Eintragstyp muss
Projekt:
- Wenn ein Eintragstyp auf benutzerdefinierte Aspekttypen verweist, müssen sich die Aspekttypen am selben Ort und im selben Projekt wie der Eintragstyp befinden.
Im Universalkatalog nicht unterstützte Funktionen
Die folgenden Funktionen, die im Data Catalog verfügbar sind, werden im Universal Catalog nicht unterstützt:
- Das Konzept privater Aspekte und privater Aspekttypen (entsprechend privaten Tags und privaten Tag-Vorlagen in Data Catalog) gibt es im Universal Catalog nicht.
- Die Suche nach Richtlinien-Tags wird in der Suche im Universalkatalog nicht unterstützt. Daher funktionieren die Prädikate
policytagundpolicytagidin der Suche im Universalkatalog nicht. - Wenn Sie benutzerdefinierte Eintragsgruppen, benutzerdefinierte Einträge, Tag-Vorlagen und Tags aus Data Catalog in den Universal Catalog übertragen, werden die ursprünglichen Berechtigungen nicht übernommen. Sie müssen IAM-Berechtigungen für die kopierten Metadaten explizit konfigurieren, bevor Sie sie verwenden können.
- Terraform unterstützt das Verwalten von Aspekten und benutzerdefinierten Einträgen nicht. Stattdessen können Sie Ihre benutzerdefinierten Metadaten programmgesteuert im großen Umfang verwalten, indem Sie eine verwaltete Konnektivitätspipeline oder die API-Methoden für den Metadatenimport verwenden. Terraform unterstützt Eintragsgruppen, Eintragstypen und Aspekttypen. Weitere Informationen finden Sie unter Dataplex-Ressourcen mit Terraform bereitstellen.
- Das Senden von Ergebnissen der Prüfung zum Schutz sensibler Daten direkt an den Universalkatalog wird nicht unterstützt. Stattdessen können Sie Ergebnisse der Prüfung für den Schutz sensibler Daten an Data Catalog senden und dann die Ergebnisse in den Universal Catalog übertragen.
- Mit der API können Sie keine Eintrags- und Aspekttypen für mehrere Projekte auflisten. Sie können die Listenanfrage auf ein Projekt beschränken.
- Sie können den Spalten von Universalkatalogeinträgen keine Begriffe aus dem Geschäftsglossar (Vorabversion) hinzufügen.
- Das Registrieren von Dataplex-Lakes, -Zonen, -Assets und -Entitäten als Einträge im Universal Catalog wird nicht unterstützt. Das bedeutet, dass Metadaten, die mit Datenspeichern, Zonen, Assets und Entitäten verknüpft sind, nicht in den Universalkatalog übernommen werden. Außerdem wird bei der Suche im universellen Katalog die Suche nach Zonen und Entitäten nicht unterstützt. Auch das Filtern nach Seen und Zonen ist nicht möglich. Sie können Datenspeicher und Zonen unabhängig vom Universalkatalog verwenden.
- Die Administratorsuche, die einen vollständigen Abruf ermöglicht, wird nicht unterstützt.
Einen Vergleich der Funktionen und Ressourcen, die sowohl im Universal Catalog als auch in Data Catalog unterstützt werden, finden Sie in diesem Dokument im Abschnitt Universal Catalog im Vergleich zu Data Catalog.
Preise
In Dataplex wird die SKU für den Metadatenspeicher verwendet, um die Kosten für den Metadatenspeicher in Rechnung zu stellen. Weitere Informationen finden Sie unter Dataplex-Preise.
Für die Nutzung der folgenden Funktionen fallen keine Gebühren an:
- Ressourcen für Universalkataloge erstellen und verwalten
- Search API-Aufrufe für den universellen Katalog
- Suchanfragen, die auf der Seite „Universeller Katalog“ in derGoogle Cloud Console ausgeführt werden
Nächste Schritte
- Weitere Informationen zur Suche nach Ressourcen im Universal Catalog
- Weitere Informationen zum Verwalten von Assets und zum Anreichern von Metadaten
- Informationen zum Verwalten von Einträgen und zum Aufnehmen benutzerdefinierter Quellen
- Weitere Informationen zur Umstellung vom Data Catalog auf den BigQuery Universal Catalog