Dataplex – Übersicht

Dataplex ist eine intelligente Datenstruktur, die verteilte Daten vereinheitlicht und die Datenverwaltung und Governance automatisiert. Mit Dataplex können Sie KI für Datenabfragen, Qualitätssicherung und Geschäftserkenntnisse nutzen.

Dataplex bietet Governance im großen Maßstab. Angenommen, ein globales Einzelhandelsunternehmen generiert große Mengen an Verkaufs-, Inventar- und Kundendaten, die in Cloud Storage, Spanner und Pub/Sub gespeichert werden. Wenn Daten auf verschiedene Systeme verteilt sind, ist die Verwaltung der Governance, die Gewährleistung der Qualität und die Einhaltung der Compliance komplex und zeitaufwendig. Dataplex vereinfacht diesen Prozess, da es eine zentrale Ansicht bietet, mit der sich Datenressourcen in Unternehmen ermitteln, profilieren, validieren, die Herkunft verfolgen und der Zugriff darauf steuern lassen.

Vorteile von Dataplex

Dataplex verwaltet Daten mit den folgenden Funktionen:

  • Metadatenkatalogisierung Sie können Metadaten für Google Cloud Ressourcen (in BigQuery, Cloud SQL, Spanner, Vertex AI, Pub/Sub, Dataform und Dataproc Metastore) und Drittanbieterressourcen abrufen, die Sie in Dataplex einbinden, um einen Snapshot Ihrer Datenassets zu erhalten.
  • Datenermittlung: In Cloud Storage-Buckets nach strukturierten und unstrukturierten Daten suchen, um ihre Metadaten zu extrahieren und zu katalogisieren.
  • Datenanalysen: Mithilfe von KI können Sie Fragen in natürlicher Sprache zu Ihren Daten stellen, um Muster zu erkennen, die Datenqualität zu bewerten und statistische Analysen durchzuführen.
  • Datenprofilierung Sie können allgemeine Merkmale der Spaltendaten in Ihren BigQuery-Tabellen ermitteln, z. B. typische Datenwerte, Datenverteilung und Nullanzahl, die die Datenklassifizierung und Qualitätssicherung unterstützen können.
  • Datenqualität: Sie können die Qualität der Daten in Ihren BigQuery-Tabellen definieren und messen, indem Sie die Daten anhand von Organisationsrichtlinien prüfen und Warnungen protokollieren, wenn die Daten nicht die Qualitätskriterien erfüllen.
  • Geschäftsglossar Sie können geschäftliche Begriffe und Definitionen in Ihrer Organisation verwalten und Begriffe an Tabellenspalten anhängen, um für ein einheitliches Verständnis der Datennutzung zu sorgen.
  • Data Lineage. Verfolgen Sie, wie sich Daten durch Ihre Systeme bewegen – woher sie kommen, wohin sie übergeben werden und welche Transformationen auf sie angewendet werden.

Dataplex unterstützt den gesamten Datenlebenszyklus, von der verteilten Datenermittlung bis hin zu Geschäftsinformationen. Governance-Funktionen sind auch über BigQuery verfügbar.

Nächste Schritte