Probleme mit der Datenabfolge beheben

In diesem Dokument wird beschrieben, wie Sie Probleme mit der Datenherkunft im Dataplex Universal Catalog beheben.

Projekttypen

Daten-Assets können sich in verschiedenen Projekten befinden. Im Folgenden finden Sie eine Zusammenfassung der möglichen Projekte und ihrer Asset-Namen.

BigQuery-Speicherprojekt

In diesem Projekt werden Ihre BigQuery-Daten-Assets gespeichert. Sie finden sie in den Asset-Details als Teil von Table ID vor dem ersten Punkt.

In der BigQuery-Benutzeroberfläche wird der Name des Speicherprojekts im Feld „Tabellen-ID“ vor dem ersten Punkt im vollständig qualifizierten Tabellennamen angezeigt.
Abbildung 1. Der Name eines BigQuery-Speicherprojekts.

Compute-Projekt

In diesem Projekt werden die Data-Lineage-Metadaten gespeichert. Bei BigQuery ist dies der Ort, an dem Sie einen Job ausführen. Wenn Sie einen Job über die Google Cloud -Konsole ausführen, finden Sie den Namen des Compute-Projekts in der Projektauswahl:

In der BigQuery-Benutzeroberfläche wird auf der Seite, auf der Sie SQL-Abfragen ausführen, ein Rechenprojekt namens „docs-compute“ angezeigt.
Abbildung 2. Der Name eines Rechenprojekts, in dem BigQuery-Jobs ausgeführt werden.

Geben Sie beim Senden von Anfragen an die BigQuery API das Compute-Projekt in der URL an, z. B.:

POST /bigquery/v2/projects/docs-compute/jobs HTTP/1.1
Host: bigquery.googleapis.com
User-Agent: Go-http-client/1.1
Authorization: <REDACTED 1031 BYTES>
Accept-Encoding: gzip
{
  "configuration": {
    "query": {
      "useLegacySql": false,
      "query": "CREATE OR REPLACE TABLE `docs-target.dataset.target-002` AS SELECT * FROM `docs-source.dataset.source-002`;"
    }
  },
  "jobReference": {
    "projectId": "docs-compute",
    "jobId": "docs-compute-job-id",
    "location": "us",
  }
}

Aktives Projekt

Das ist das Projekt, aus dem Sie die Datenherkunft aufrufen. In der Google Cloud Console wird das aktive Projekt in der Projektauswahl angezeigt. Wenn Sie die API verwenden, ist das aktive Projekt das Projekt, aus dem Sie API-Aufrufe ausführen.

In der BigQuery-Benutzeroberfläche wird der Datenursprung für ein Dataset mit dem Namen „source-001“ angezeigt, das sich in einem Projekt mit dem Namen „docs-source“ befindet.
Abbildung 3: Das aktive Projekt in der Google Cloud -Console.

BigQuery-Datenherkunft wird nicht angezeigt

Das folgende Problem tritt nach dem Ausführen eines BigQuery-Jobs auf. In diesem Fall kann das Problem drei Ursachen haben:

  • Die Data Lineage API ist im aktiven Projekt oder im Compute-Projekt deaktiviert.
  • Sie haben nicht die Rolle Data Lineage Viewer (roles/datalineage.viewer) im aktiven oder im Compute-Projekt.
  • Die Datenherkunft ist noch nicht verfügbar. Je nach Menge und Komplexität der verarbeiteten Daten kann es zwischen 30 Minuten und 24 Stunden dauern, bis der Datenursprung angezeigt wird.

Wenn unten auf der Seite die Meldung „Herkunft konnte aufgrund fehlender Berechtigungen nicht abgerufen werden.“ angezeigt wird, fehlen Ihnen Berechtigungen für das aktive Projekt. Andernfalls fehlen Ihnen Berechtigungen für das Compute-Projekt.

Ein leeres Herkunftsdiagramm.
Abbildung 4: Beispiel für eine Herkunft, die nicht in der BigQuery-UI angezeigt wird.

Prüfen Sie zur Behebung dieses Problems, ob die Data Lineage API für das Compute-Projekt aktiviert ist. Nachdem Sie die API aktiviert haben, müssen Sie einen Job ausführen, um die Datenherkunft zu sehen. Je nach Menge und Komplexität der verarbeiteten Daten kann es zwischen 30 Minuten und 24 Stunden dauern, bis der Datenursprung angezeigt wird.

Prüfen Sie als Nächstes, ob die Data Lineage API für das aktive Projekt aktiviert ist.

Wenn die Data Lineage API aktiviert ist, weisen Sie die Rolle „Data Lineage Viewer“ (roles/datalineage.viewer) sowohl dem aktiven als auch dem Compute-Projekt zu.

BigQuery-Prozessmetadaten werden nicht angezeigt

Das folgende Problem tritt auf, wenn Sie den Detailbereich der Tabelle öffnen. Dort werden nicht alle Details wie die SQL-Anweisung oder die Property Process type angezeigt. Das passiert, obwohl die Datenherkunft korrekt angezeigt wird.

Das kann passieren, wenn Sie nicht berechtigt sind, Metadaten im Compute-Projekt anzusehen.

Beispiel:

  • BigQuery-Quelltabelle: docs-source.dataset.source-001
  • BigQuery-Zieltabelle: docs-target.dataset.target-001
  • Data Lineage zwischen docs-source.dataset.source-001 und docs-target.dataset.target-001 im Compute-Projekt docs-compute
  • Sie haben die Rolle „Data Lineage-Betrachter“ für aktive und Compute-Projekte docs-compute.

Wenn Sie auf die BigQuery-Prozessdetails klicken, wird in der Google Cloud Console die folgende Meldung angezeigt:

You don't have permission to view BigQuery process metadata in project X.
In der BigQuery-UI wird im Bereich „Details“ auf dem Tab „Lineage“ eine Fehlermeldung angezeigt.
Abbildung 5. Beispiel dafür, dass BigQuery-Prozessdetails nicht in der BigQuery-Benutzeroberfläche angezeigt werden.

Um dieses Problem zu beheben, weisen Sie dem Nutzer die Berechtigung bigquery.jobs.get (z. B. in der Rolle BigQuery-Ressourcenbetrachter enthalten) im Compute-Projekt zu.

BigQuery-Tabellendetails werden nicht angezeigt

Das folgende Problem tritt auf, wenn Sie den Bereich mit den Tabellendetails öffnen, in dem nur die Fully qualified name-Property angezeigt wird. Das passiert, obwohl die Datenherkunft korrekt angezeigt wird. Das kann passieren, wenn Sie nicht alle erforderlichen Berechtigungen für die Speicherprojekte der Tabelle haben.

Beispiel:

  • BigQuery-Tabelle docs-source.dataset.source-001
  • BigQuery-Tabelle docs-target.dataset.target-001
  • Data Lineage zwischen docs-source.dataset.source-001 und docs-target.dataset.target-001 mit Compute-Projekt docs-compute
  • Sie haben die Rolle Data Lineage-Betrachter für die aktiven und Compute-docs-compute-Projekte.

Wenn Sie in diesem Fall auf die Details des BigQuery-Knotens klicken, wird die Meldung Entry with this fully qualified name is not available in Dataplex Universal Catalog or you do not have permissions to view it angezeigt.

Details zur BigQuery-Tabelle werden nicht angezeigt.
Abbildung 6: Beispiel für BigQuery-Tabellendetails, die nicht in der BigQuery-UI angezeigt werden.

Um dieses Problem zu beheben, müssen Sie die Berechtigungen bigquery.tables.get (z. B. in der Rolle „BigQuery-Datenbetrachter“ enthalten) im Speicherprojekt gewähren.