Dataplex Universal Catalog – Übersicht

Dataplex Universal Catalog ist eine einheitliche, intelligente Governance-Lösung für Daten und KI-Assets in Google Cloud. Mit Dataplex Universal Catalog können Sie KI nutzen, um Datenabfragen, Qualitätssicherung und Business Insights zu vereinfachen.

Dataplex Universal Catalog bietet Governance im großen Maßstab. Ein globales Einzelhandelsunternehmen generiert beispielsweise große Mengen an Verkaufs-, Inventar- und Kundendaten, die in Cloud Storage, Spanner und Pub/Sub gespeichert sind. Wenn Daten auf verschiedene Systeme verteilt sind, ist es komplex und zeitaufwendig, Governance zu verwalten, Qualität sicherzustellen und Compliance aufrechtzuerhalten. Der Dataplex Universal Catalog vereinfacht diesen Prozess, da er eine zentrale Ansicht bietet, in der Sie Daten-Assets der Organisation ermitteln, profilieren, validieren, die Herkunft nachverfolgen und den Zugriff darauf steuern können.

Gründe für die Verwendung von Dataplex Universal Catalog

Dataplex Universal Catalog verwaltet Daten über die folgenden Funktionen:

  • Metadatenkatalogisierung: Metadaten für Google Cloud -Ressourcen (in BigQuery, Cloud SQL, Spanner, Vertex AI, Pub/Sub, Dataform, Dataproc Metastore) und Drittanbieterressourcen abrufen, die Sie in Dataplex Universal Catalog einbinden, um einen Snapshot Ihrer Datenassets zu erhalten.
  • Datenermittlung: Nach strukturierten und unstrukturierten Daten in Cloud Storage-Buckets suchen, um deren Metadaten zu extrahieren und zu katalogisieren.
  • Data Insights: Mit KI können Sie Fragen in natürlicher Sprache zu Ihren Daten generieren, um Muster zu erkennen, die Datenqualität zu bewerten und statistische Analysen durchzuführen.
  • Datenprofilierung: Identifizieren Sie allgemeine Merkmale der Spaltendaten in Ihren BigQuery-Tabellen, z. B. typische Datenwerte, Datenverteilung und Anzahl der Nullwerte. Diese Informationen können für die Datenklassifizierung und Qualitätssicherung hilfreich sein.
  • Datenqualität: Sie können die Qualität der Daten in Ihren BigQuery-Tabellen definieren und messen, indem Sie Daten anhand von Organisationsrichtlinien validieren und Warnungen protokollieren, wenn Daten die Qualitätskriterien nicht erfüllen.
  • Geschäftsglossar Sie können unternehmensbezogene Begriffe und Definitionen in Ihrer Organisation verwalten und Begriffe an Tabellenspalten anhängen, um ein einheitliches Verständnis der Datennutzung zu fördern.
  • Data Lineage: Nachverfolgen, wie sich Daten durch Ihre Systeme bewegen – woher sie kommen, wohin sie übergeben werden und welche Transformationen auf sie angewendet werden.

Dataplex Universal Catalog unterstützt einen lückenlosen Datenlebenszyklus, von der verteilten Ermittlung bis hin zu geschäftlichen Erkenntnissen. Governance-Funktionen sind auch über BigQuery verfügbar.

Nächste Schritte