Datenherkunft

Die Datenherkunft ist eine Dataplex-Funktion, mit der Sie verfolgen können, wie sich Daten durch Ihre Systeme bewegen – woher sie kommen, wohin sie übergeben werden und welche Transformationen auf sie angewendet werden.

Warum benötigen Sie eine Datenabfolge?

Bei der Arbeit mit großen Datenmengen werden Daten häufig in Entitäten umgewandelt, die auf die Anforderungen eines bestimmten Projekts zugeschnitten sind: Textdateien, Tabellen, Berichte, Dashboards, Modelle.

Angenommen, Sie haben einen Onlineshop, in dem Sie jeden Kauf in einer einzigen SQL-Tabelle erfassen. Um Ihren Analysten die Arbeit mit den Daten zu erleichtern, führen Sie Jobs aus, mit denen Informationen aus dieser einzelnen Tabelle extrahiert und kleinere Tabellen nach Region, Marke oder Sonderangebotspreis erstellt werden. Ihre Analysten beginnen dann damit, weitere Transformationen durchzuführen und diese kleineren Tabellen mit anderen Datenquellen zusammenzuführen, um noch mehr Tabellen zu erstellen.

Das kann für Ihre Stakeholder eine große Herausforderung darstellen:

  • Datenabnehmer können mit einem Self-Service-Tool nicht feststellen, ob Daten aus einer vertrauenswürdigen Quelle stammen.
  • Dateningenieure können die Ursache von Problemen nicht ermitteln, da es keine zuverlässige Möglichkeit gibt, alle Datentransformationen zu verfolgen.
  • Dateningenieure und ‑analysten können die möglichen Auswirkungen nicht vollständig beurteilen, bevor sie Tabellen ändern oder löschen.
  • Datenverantwortliche können nicht nachvollziehen, wie sensible Daten in der gesamten Organisation verwendet werden, und die Einhaltung der gesetzlichen Bestimmungen nicht gewährleisten.

Die Datenabfolge ist eine Lösung, die Folgendes auf praktische Weise ermöglicht:

  • Mithilfe von Herkunftsgraphen können Sie nachvollziehen, woher Daten stammen und wie sie transformiert werden.
  • Fehler im Zusammenhang mit Einträgen und Datenvorgängen auf ihre Ursachen zurückführen.
  • Bessere Änderungsverwaltung durch Auswirkungensanalyse: Vermeiden Sie Ausfallzeiten oder unerwartete Fehler, verstehen Sie abhängige Einträge und arbeiten Sie mit relevanten Stakeholdern zusammen.

Informationsmodell für Datenreihen

In seiner Grundform ist die Herkunftsermittlung ein Datensatz, der Daten enthält, die von Quellen in Ziele transformiert werden. Die Data Lineage API sammelt diese Informationen und organisiert sie mithilfe der Konzepte „Prozesse“, „Ausführungen“ und „Ereignisse“ in einem hierarchischen Datenmodell.

Prozess

Ein Prozess ist die Definition eines Datentransformationsvorgangs, der für ein bestimmtes System unterstützt wird. Im Zusammenhang mit der BigQuery-Abstammung ist process einer der unterstützten Jobtypen.

Ausführen

Eine Ausführung ist die Ausführung eines Prozesses. Prozesse können mehrere Ausführungen haben. Ausführungen enthalten Details wie Start- und Endzeit, Status oder zusätzliche Attribute. Weitere Informationen finden Sie in der Referenz zu run.

Ereignis

Ein Ereignis stellt einen Zeitpunkt dar, zu dem ein Datentransformationsvorgang stattgefunden hat und zu einer Datenübertragung zwischen einer Quell- und einer Zielentität geführt hat.

Ereignisse enthalten eine Liste von Links, die definieren, welcher Eintrag die Quelle und welcher das Ziel eines bestimmten Ereignisses war. Ereignisse werden zwar zum Berechnen von Grafiken für die Abfolgevisualisierung verwendet, sind aber nicht direkt in der Google Cloud Console verfügbar. Sie können sie mit der Data Lineage API erstellen, lesen und löschen, aber nicht aktualisieren.

Beispiel

Im folgenden Beispiel werden Daten zwischen BigQuery-Tabellen kopiert:

Im Beispiel werden Daten aus den Tabellen „customer_year“ und „customers“ extrahiert, um eine Tabelle namens „top_customer“ zu erstellen.
Abbildung 1. Beispiel für ein Diagramm mit den Quellen der Tabellendaten

Wie Daten zwischen den Tabellen übertragen werden, wird durch den Abstammungsvorgang beschrieben (im Diagramm durch das Symbol Symbol für BigQuery-Abstammungsprozeß dargestellt). Dies kann eine SQL-CREATE TABLE AS SELECT-Abfrage oder eine INSERT-Anweisung sein.

Jede Ausführung dieser SQL-Anweisung stellt einen einzelnen Durchlauf dar. Ausführungen enthalten Ereignisse, in denen aufgezeichnet wird, welche Tabellen als Quellen und welche als Ziele verwendet wurden. In diesem Beispiel sind die Tabellen customer_year und customers die Quellen für die Zieltabelle top_customer.

Herkunftsvisualisierungsdiagramm

In Stammbaumdiagrammen werden Informationen dargestellt, die von der Data Lineage API für einen bestimmten Data Catalog-Eintrag erfasst wurden. Stamm bezieht sich auf den Eintrag, für den Sie die Stammlinie aufrufen.

Die Beispielgrafik zeigt Daten aus zwei Tabellen, die transformiert und dann in eine neue Tabelle zusammengeführt werden. Unten ist ein Detailbereich mit SQL-Code angedockt.
Abbildung 2. Beispiel für ein Herkunftsvisualisierungsdiagramm in der Google Cloud Console von Dataplex

Dataplex verwendet die Data Lineage API, um Einträge zu identifizieren, deren vollständig qualifizierter Name mit Entitäten übereinstimmt, die von der Datenherkunft erkannt werden. Bei abgeglichenen Dataplex-Einträgen können Sie auf der Detailseite auf den Tab Abstammung zugreifen und sich das Diagramm ansehen.

In Stammbaumdiagrammen werden zwei Arten von Elementen dargestellt:

  • Breite, rechteckige Schaltflächen, die Entitäten darstellen, die beim Erstellen von Stammbauminformationen als Quellen oder Ziele eines Stammbaumereignisses beteiligt sind.

  • Kleinere quadratische Schaltflächen, die Prozesse darstellen, die für das Erstellen oder Aktualisieren der Quell- oder Zielentitäten verantwortlich sind. Die Prozessschaltflächen verwenden Symbole, die für das Quellsystem spezifisch sind, das sie an die Data Lineage API gesendet hat. Für BigQuery-Jobs wird beispielsweise das Symbol Symbol für BigQuery-Abstammungsprozeß verwendet.

Listenansicht für Lineage

In der Listenansicht der Herkunft werden detaillierte Informationen zur Herkunft von Entitäten in einer einzelnen Tabelle angezeigt.

Im Vergleich zum Herkunftsvisualisierungsdiagramm, das sich besser für relativ kleine Herkunftsdiagramme eignet, können Sie in der Herkunftslistenansicht Herkunftsinformationen für Entitäten mit vielen Verbindungen aufrufen.

Die folgende Abbildung zeigt ein Beispiel für die Listenansicht der Abfolge in der Google Cloud Console. In der folgenden Liste wird das Bild genauer beschrieben.

Beispiel für die Listenansicht der Herkunft in der Google Cloud Console
Abbildung 3. Beispiel für eine Listenansicht der Herkunft in der Google Cloud Console

  • Jede Zeile in der Tabelle stellt einen einzelnen Abstammungslink zwischen zwei Einträgen dar. Im Diagramm werden diese Namen als Abfolgeverbindungen zwischen zwei Einträgen dargestellt, einschließlich aller dazwischen liegenden Prozessknoten. Beispielsweise sind Source und Target Asset-Knoten, zwischen denen sich möglicherweise mehrere Prozessknoten befinden.

  • Mit der Option Richtung wird der Teil des Datenflusses angegeben, der in der Liste in Bezug auf das Stamm-Asset angezeigt werden soll:

    • Upstream: Hier werden Informationen zur Herkunft für Einträge angezeigt, die Datenquellen für den ausgewählten Eintrag sind. Im Stammbaumdiagramm sind dies die Einträge, die links vom ausgewählten Eintrag angezeigt werden.

    • Downstream: Hier werden Informationen zur Herkunft für Einträge angezeigt, die den ausgewählten Eintrag verwenden oder von ihm abgeleitet sind. Im Stammbaumdiagramm sind dies die Einträge, die rechts neben dem ausgewählten Eintrag angezeigt werden.

  • Mit der Option Zeitraum können Sie Informationen zur Zugehörigkeit nach dem Zeitpunkt filtern, zu dem sie aufgetreten ist:

    • Beginn: Hier sehen Sie die Lineage nach dem Beginn.

    • Endzeit: Hier sehen Sie die Lineage bis zu diesem Zeitpunkt.

  • Die Tiefe gibt an, wie weit eine Quell- oder abgeleitete Ressource von der Stammressource entfernt ist. In der Listenansicht werden bis zu 1.000 Abstammungslinks angezeigt, wobei die maximale Tiefe von der Stammressource 10 Abstammungslinks beträgt. Wenn es Abstammungen außerhalb dieses Bereichs gibt, werden Sie benachrichtigt. Sie können sich die Abfolge außerhalb dieses Bereichs ansehen, indem Sie in der Listenansicht den Namen einer anderen Entität auswählen.

  • Im Bereich Details finden Sie Informationen zur Quelle und zum Ziel des Links sowie zu allen Prozessen, die diesen Link erstellt haben.

  • Sie können die in der Tabelle angezeigten Spalten anpassen und die Ergebnisse filtern. Sie können die Ergebnisse auch in eine CSV-Datei exportieren.

Automatisiertes Tracking der Datenherkunft

Wenn Sie die Data Lineage API aktivieren, melden Google Cloud-Systeme, die die Datenabfolge unterstützen, ihre Datenbewegungen. Jedes integrierte System kann Informationen zur Herkunft für einen anderen Datenquellenbereich einreichen. Weitere Informationen zu den einzelnen unterstützten Produkten finden Sie in den folgenden Abschnitten.

BigQuery

Wenn Sie die Herkunft der Daten in Ihrem BigQuery-Projekt aktivieren, zeichnet Dataplex automatisch die Herkunftsinformationen für Folgendes auf:

BigQuery-Kopier-, Abfrage- und Ladejobs werden als Prozesse dargestellt. Klicken Sie im Herkunftsvisualisierungsdiagramm auf , um die Prozessdetails aufzurufen. Jeder Prozess enthält die BigQuery-job_id in der Liste attributes für den letzten BigQuery-Job.

Weitere Dienste

Die Datenherkunft unterstützt die Einbindung in die folgenden Google Cloud-Dienste:

Datenabfolge für benutzerdefinierte Datenquellen

Mit der Data Lineage API in Dataplex können Sie Herkunftsinformationen für jede Datenquelle manuell erfassen, die von den integrierten Systemen nicht unterstützt wird.

In Dataplex können Visualisierungsgrafiken für manuell aufgezeichnete Abfolgen erstellt werden, wenn Sie eine fullyQualifiedNames verwenden, die mit den vollständig qualifizierten Namen vorhandener Data Catalog-Einträge übereinstimmt. Wenn Sie die Herkunftsabfolge für eine benutzerdefinierte Datenquelle aufzeichnen möchten, erstellen Sie zuerst einen benutzerdefinierten Data Catalog-Eintrag.

Jeder Prozess für eine benutzerdefinierte Datenquelle kann den Schlüssel sql in der Attributliste enthalten. Der Wert dieses Schlüssels wird verwendet, um den Code-Highlight im Detailbereich des Datenabstammungsdiagramms zu rendern. Die SQL-Anweisung wird genau so angezeigt, wie sie angegeben wurde. Der Nutzer ist dafür verantwortlich, vertrauliche Informationen herauszufiltern. Bei dem Schlüsselnamen sql wird zwischen Groß- und Kleinschreibung unterschieden.

OpenLineage

Wenn Sie bereits OpenLineage verwenden, um Informationen zur Herkunft aus anderen Datenquellen zu erfassen, können Sie OpenLineage-Ereignisse in Dataplex importieren und diese Ereignisse in der Google Cloud Console anzeigen. Weitere Informationen finden Sie unter OpenLineage einbinden.

Beschränkungen

  • Alle Informationen zur Herkunft werden nur 30 Tage lang im System gespeichert.
  • Informationen zur Herkunft bleiben erhalten, nachdem Sie die zugehörige Datenquelle entfernt haben. Wenn Sie also eine BigQuery-Tabelle und den zugehörigen Data Catalog-Eintrag entfernen, können Sie die Herkunftsinformationen für diese Tabelle noch bis zu 30 Tage lang über die API lesen.

Auf Datenherkunft zugreifen

Sie können auf die Funktionen zur Datenherkunft über Folgendes zugreifen:

  • Seite mit den Details zum Eintrag in der Dataplex-Weboberfläche in der Google Cloud Console Weitere Informationen finden Sie unter Herkunftsdiagramme ansehen.
  • Seite mit Tabellendetails in der BigQuery-Weboberfläche in der Google Cloud Console Weitere Informationen finden Sie unter Herkunftsdiagramme ansehen.
  • Seiten „Dataset“ und „Model Registry“ in der Vertex AI-Weboberfläche in der Google Cloud Console Weitere Informationen finden Sie unter Herkunftsdiagramme ansehen.
  • Data Lineage API

Preise

  • Bei Dataplex wird die SKU für die Premium-Verarbeitung verwendet, um die Datenherkunft in Rechnung zu stellen. Weitere Informationen finden Sie unter Preise.

  • Wenn Sie die Kosten für die Datenableitung von anderen Kosten in der Dataplex Premium-Verarbeitungs-SKU trennen möchten, verwenden Sie im Cloud Billing-Bericht das Label goog-dataplex-workload-type mit dem Wert LINEAGE.

  • Wenn Sie die Data Lineage API Origin sourceType mit einem anderen Wert als CUSTOM aufrufen, fallen zusätzliche Kosten an.

Nächste Schritte