Nach Problemen mit der Datenqualität suchen

Console

1. Rufen Sie in der Google Cloud Console auf der Seite BigQuery → Metadata curation (BigQuery → Metadatenverwaltung) den Tab Data profiling & quality (Datenprofilerstellung und ‑qualität) auf.

   Zu „Datenprofilerstellung und ‑qualität“

2. Klicken Sie auf Datenqualitätsscan erstellen.

3. Füllen Sie im Fenster Scan definieren die folgenden Felder aus:

   1. Optional: Geben Sie einen Anzeigenamen ein.

   2. Geben Sie eine ID ein. Weitere Informationen finden Sie unter Konventionen für Ressourcennamen.

   3. Optional: Geben Sie eine Beschreibung ein.

   4. Klicken Sie im Feld Tabelle auf Durchsuchen. Wählen Sie die Tabelle aus, die gescannt werden soll, und klicken Sie dann auf Auswählen. Es werden nur Standard-BigQuery-Tabellen unterstützt.

      Wählen Sie für Tabellen in multiregionalen Datasets eine Region aus, in der der Datenscan erstellt werden soll.

      Wenn Sie die Tabellen durchsuchen möchten, die in Dataplex Universal Catalog-Lakes organisiert sind, klicken Sie auf In Dataplex-Lakes suchen.

   5. Wählen Sie im Feld Umfang die Option Inkrementell oder Gesamte Daten aus.

      • Wenn Sie Inkrementell auswählen: Wählen Sie im Feld Zeitstempelspalte eine Spalte vom Typ DATE oder TIMESTAMP aus Ihrer BigQuery-Tabelle aus, die zunimmt, wenn neue Datensätze hinzugefügt werden, und mit der neue Datensätze identifiziert werden können. Das kann eine Spalte sein, mit der die Tabelle partitioniert wird.

   6. Wenn Sie Ihre Daten filtern möchten, klicken Sie das Kästchen Zeilen filtern an. Geben Sie einen Zeilenfilter an, der aus einem gültigen SQL-Ausdruck besteht, der als Teil einer WHERE-Klausel in GoogleSQL-Syntax verwendet werden kann. Beispiel: col1 >= 0 Der Filter kann eine Kombination aus mehreren Spaltenbedingungen sein. Beispiel: col1 >= 0 AND col2 < 10.

   7. Wenn Sie Ihre Daten stichprobenartig erfassen möchten, wählen Sie in der Liste Probegröße einen Prozentsatz für die Stichprobenerhebung aus. Wählen Sie einen Prozentwert zwischen 0,0% und 100,0% mit bis zu drei Dezimalstellen aus. Bei größeren Datasets sollten Sie einen niedrigeren Prozentsatz für die Stichprobenerhebung auswählen. Wenn Sie beispielsweise für eine 1-PB-Tabelle einen Wert zwischen 0, 1% und 1, 0 % eingeben, werden beim Datenqualitäts-Scan 1 bis 10 TB an Daten als Stichprobe verwendet. Bei inkrementellen Datenscans wird für den Datenqualitätsscan das Sampling auf das letzte Inkrement angewendet.

   8. Wenn Sie die Ergebnisse des Datenqualitätsscans als Metadaten in Dataplex Universal Catalog veröffentlichen möchten, wählen Sie das Kästchen Ergebnisse in BigQuery und Dataplex Catalog veröffentlichen aus.

      Die neuesten Scanergebnisse können Sie auf dem Tab Datenqualität auf den BigQuery- und Dataplex Universal Catalog-Seiten für die Quelltabelle ansehen. Informationen dazu, wie Sie Nutzern Zugriff auf die veröffentlichten Scanergebnisse gewähren, finden Sie im Abschnitt Zugriff auf Ergebnisse des Datenprofilscans gewähren in diesem Dokument.

   9. Wählen Sie im Bereich Zeitplan eine der folgenden Optionen aus:

      • Wiederholen: Führen Sie den Datenqualitätsscan nach einem Zeitplan aus: stündlich, täglich, wöchentlich, monatlich oder benutzerdefiniert. Geben Sie an, wie oft und zu welcher Uhrzeit der Scan ausgeführt werden soll. Wenn Sie „benutzerdefiniert“ auswählen, geben Sie den Zeitplan im Cron-Format an.

      • On-Demand: Führen Sie den Datenqualitätsscan bei Bedarf aus.

   10. Klicken Sie auf Weiter.

4. Definieren Sie im Fenster Regeln für Datenqualität die Regeln, die für diesen Datenqualitätsscan konfiguriert werden sollen.

   1. Klicken Sie auf Regeln hinzufügen und wählen Sie eine der folgenden Optionen aus.

      • Profilbasierte Empfehlungen: Erstellen Sie Regeln anhand von Empfehlungen, die auf einem vorhandenen Datenprofilscan basieren.

        1. Spalten auswählen: Wählen Sie die Spalten aus, für die Sie empfohlene Regeln erhalten möchten.

        2. Scanprojekt auswählen: Wenn sich der Datenprofilscan in einem anderen Projekt als dem Projekt befindet, in dem Sie den Datenqualitätsscan erstellen, wählen Sie das Projekt aus, aus dem Profilscans abgerufen werden sollen.

        3. Profilergebnisse auswählen: Wählen Sie ein oder mehrere Profilergebnisse aus und klicken Sie dann auf OK. Dadurch wird eine Liste mit vorgeschlagenen Regeln erstellt, die Sie als Ausgangspunkt verwenden können.

        4. Klicken Sie das Kästchen für die Regeln an, die Sie hinzufügen möchten, und dann auf Auswählen. Nach der Auswahl werden die Regeln Ihrer aktuellen Regelliste hinzugefügt. Anschließend können Sie die Regeln bearbeiten.

      • Integrierte Regeltypen: Erstellen Sie Regeln aus vordefinierten Regeln. Liste der vordefinierten Regeln

        1. Spalten auswählen: Wählen Sie die Spalten aus, für die Sie Regeln auswählen möchten.

        2. Regeltypen auswählen: Wählen Sie die Regeltypen aus, die Sie verwenden möchten, und klicken Sie dann auf OK. Die angezeigten Regeltypen hängen von den ausgewählten Spalten ab.

        3. Klicken Sie das Kästchen für die Regeln an, die Sie hinzufügen möchten, und dann auf Auswählen. Nach der Auswahl werden die Regeln der aktuellen Regelliste hinzugefügt. Anschließend können Sie die Regeln bearbeiten.

      • Prüfregel für SQL-Zeilen: Erstellen Sie eine benutzerdefinierte SQL-Regel, die auf jede Zeile angewendet wird.

        1. Wählen Sie unter Dimension eine Dimension aus.

        2. Wählen Sie unter Bestandene Mindestanzahl einen Prozentsatz der Datensätze aus, die die Prüfung bestehen müssen.

        3. Wählen Sie unter Spaltenname eine Spalte aus.

        4. Geben Sie im Feld SQL-Ausdruck angeben einen SQL-Ausdruck ein, der als boolescher Wert true (bestanden) oder false (nicht bestanden) ausgewertet wird. Weitere Informationen finden Sie unter Unterstützte benutzerdefinierte SQL-Regeltypen und in den Beispielen unter Regeln für die Datenqualität definieren.

        5. Klicken Sie auf Hinzufügen.

      • Prüfregel für SQL-Aggregate: Erstellen Sie eine benutzerdefinierte SQL-Regel für Tabellenbedingungen.

        1. Wählen Sie unter Dimension eine Dimension aus.

        2. Wählen Sie unter Spaltenname eine Spalte aus.

        3. Geben Sie im Feld SQL-Ausdruck angeben einen SQL-Ausdruck ein, der als boolescher Wert true (bestanden) oder false (nicht bestanden) ausgewertet wird. Weitere Informationen finden Sie unter Unterstützte benutzerdefinierte SQL-Regeltypen und in den Beispielen unter Regeln für die Datenqualität definieren.

        4. Klicken Sie auf Hinzufügen.

      • SQL-Assertion-Regel: Erstellen Sie eine benutzerdefinierte SQL-Assertion-Regel, um den ungültigen Status der Daten zu prüfen.

        1. Wählen Sie unter Dimension eine Dimension aus.

        2. Optional: Wählen Sie unter Spaltenname eine Spalte aus.

        3. Geben Sie im Feld SQL-Anweisung angeben eine SQL-Anweisung ein, die Zeilen zurückgibt, die dem ungültigen Status entsprechen. Wenn Zeilen zurückgegeben werden, schlägt die Regel fehl. Lassen Sie das abschließende Semikolon in der SQL-Anweisung weg. Weitere Informationen finden Sie unter Unterstützte benutzerdefinierte SQL-Regeltypen und in den Beispielen unter Regeln für die Datenqualität definieren.

        4. Klicken Sie auf Hinzufügen.

   2. Optional: Sie können jeder Datenqualitätsregel einen benutzerdefinierten Namen zuweisen, der für Monitoring und Benachrichtigungen verwendet wird, sowie eine Beschreibung. Bearbeiten Sie dazu eine Regel und geben Sie die folgenden Details an:

      • Regelname: Geben Sie einen benutzerdefinierten Regelnamen mit bis zu 63 Zeichen ein. Der Regelname kann Buchstaben (a–z, A–Z), Ziffern (0–9) und Bindestriche (-) enthalten und muss mit einem Buchstaben beginnen und mit einer Ziffer oder einem Buchstaben enden.
      • Beschreibung: Geben Sie eine Regelbeschreibung mit maximal 1.024 Zeichen ein.

   3. Wiederholen Sie die vorherigen Schritte, um dem Datenqualitätsscan weitere Regeln hinzuzufügen. Klicken Sie anschließend auf Weiter.

5. Optional: Exportieren Sie die Scanergebnisse in eine BigQuery-Standardtabelle. Führen Sie im Abschnitt Scanergebnisse in BigQuery-Tabelle exportieren folgende Schritte aus:

   1. Klicken Sie im Feld BigQuery-Dataset auswählen auf Durchsuchen. Wählen Sie ein BigQuery-Dataset aus, in dem die Ergebnisse des Datenqualitätsscans gespeichert werden sollen.

   2. Geben Sie im Feld BigQuery-Tabelle die Tabelle an, in der die Ergebnisse des Datenqualitätsscans gespeichert werden sollen. Wenn Sie eine vorhandene Tabelle verwenden, muss sie mit dem Schema der Exporttabelle kompatibel sein. Wenn die angegebene Tabelle nicht vorhanden ist, wird sie von Dataplex Universal Catalog erstellt.

6. Optional: Fügen Sie Labels hinzu. Labels sind Schlüssel/Wert-Paare, mit denen Sie verwandte Objekte zusammen oder mit anderen Google Cloud -Ressourcen gruppieren können.

7. Optional: Richten Sie E-Mail-Benachrichtigungsberichte ein, um Personen über den Status und die Ergebnisse eines Datenqualitätsscan-Jobs zu informieren. Klicken Sie im Bereich Benachrichtigungsbericht auf add E-Mail-ID hinzufügen und geben Sie bis zu fünf E-Mail-Adressen ein. Wählen Sie dann die Szenarien aus, für die Sie Berichte senden möchten:

   • Wert für Qualität (<=): Ein Bericht wird gesendet, wenn ein Job mit einem Datenqualitätsfaktor abgeschlossen wird, der niedriger als der angegebene Zielwert ist. Geben Sie einen Ziel-Qualitätsfaktor zwischen 0 und 100 ein.
   • Job failures (Jobfehler): Ein Bericht wird gesendet, wenn der Job selbst fehlschlägt, unabhängig von den Ergebnissen der Datenqualität.
   • Jobabschluss (Erfolg oder Fehler): Sendet einen Bericht, wenn der Job beendet wird, unabhängig von den Ergebnissen zur Datenqualität.

8. Klicken Sie auf Erstellen.

   Nachdem Sie den Scan erstellt haben, können Sie ihn jederzeit ausführen, indem Sie auf Run now (Jetzt ausführen) klicken.

gcloud

Verwenden Sie zum Erstellen eines Datenqualitätsscans den Befehl gcloud dataplex datascans create data-quality.

Wenn die Quelldaten in einem Dataplex Universal Catalog-Lake organisiert sind, fügen Sie das Flag --data-source-entity ein:

gcloud dataplex datascans create data-quality DATASCAN \
    --location=LOCATION \
    --data-quality-spec-file=DATA_QUALITY_SPEC_FILE \
    --data-source-entity=DATA_SOURCE_ENTITY

Wenn die Quelldaten nicht in einem Dataplex Universal Catalog-Lake organisiert sind, fügen Sie das Flag --data-source-resource ein:

gcloud dataplex datascans create data-quality DATASCAN \
    --location=LOCATION \
    --data-quality-spec-file=DATA_QUALITY_SPEC_FILE \
    --data-source-resource=DATA_SOURCE_RESOURCE

Ersetzen Sie die folgenden Variablen:

• DATASCAN: Der Name des Datenqualitäts-Scans.
• LOCATION: Die Google Cloud Region, in der der Datenqualitätsscan erstellt werden soll.
• DATA_QUALITY_SPEC_FILE: Der Pfad zur JSON- oder YAML-Datei, die die Spezifikationen für den Datenqualitäts-Scan enthält. Die Datei kann eine lokale Datei oder ein Cloud Storage-Pfad mit dem Präfix gs:// sein. Mit dieser Datei geben Sie die Datenqualitätsregeln für den Scan an. Sie können in dieser Datei auch zusätzliche Details angeben, z. B. Filter, den Prozentsatz für das Sampling und Aktionen nach dem Scannen, z. B. den Export nach BigQuery oder das Senden von E‑Mail-Benachrichtigungsberichten. Weitere Informationen finden Sie in der Dokumentation zur JSON-Darstellung und in der YAML-Beispieldarstellung.
• DATA_SOURCE_ENTITY: Die Dataplex Universal Catalog-Entität, die die Daten für den Datenqualitätsscan enthält. Beispiel: projects/test-project/locations/test-location/lakes/test-lake/zones/test-zone/entities/test-entity
• DATA_SOURCE_RESOURCE: Der Name der Ressource, die die Daten für den Datenqualitäts-Scan enthält. Beispiel: //bigquery.googleapis.com/projects/test-project/datasets/test-dataset/tables/test-table

REST

Verwenden Sie die dataScans.create-Methode, um einen Datenqualitätsscan zu erstellen.

Wenn Sie Regeln für den Datenqualitätsscan anhand von Regelempfehlungen erstellen möchten, die auf den Ergebnissen eines Datenprofilscans basieren, rufen Sie die Empfehlungen auf, indem Sie die dataScans.jobs.generateDataQualityRules-Methode für den Datenprofilscan aufrufen.

Console

1. Rufen Sie in der Google Cloud Console auf der Seite BigQuery → Metadata curation (BigQuery → Metadatenverwaltung) den Tab Data profiling & quality (Datenprofilerstellung und ‑qualität) auf.

   Zu „Datenprofilerstellung und ‑qualität“

2. Klicken Sie auf den Datenqualitätsscan, den Sie ausführen möchten.

3. Klicken Sie auf Jetzt ausführen.

gcloud

Verwenden Sie den gcloud dataplex datascans run-Befehl, um einen Scan der Datenqualität auszuführen:

gcloud dataplex datascans run DATASCAN \
--location=LOCATION \

Ersetzen Sie die folgenden Variablen:

• LOCATION: Die Google Cloud -Region, in der der Datenqualitätsscan erstellt wurde.
• DATASCAN: Der Name des Datenqualitäts-Scans.

REST

Verwenden Sie die Methode dataScans.run, um einen Datenqualitäts-Scan auszuführen.

Console

1. Rufen Sie in der Google Cloud Console auf der Seite BigQuery → Metadata curation (BigQuery → Metadatenverwaltung) den Tab Data profiling & quality (Datenprofilerstellung und ‑qualität) auf.

   Zu „Datenprofilerstellung und ‑qualität“

2. Klicken Sie auf den Namen eines Datenqualitätsscans.

   • Im Bereich Übersicht werden Informationen zu den letzten Jobs angezeigt, z. B. wann der Scan ausgeführt wurde, die Anzahl der in jedem Job gescannten Datensätze, ob alle Datenqualitätsprüfungen bestanden wurden und, falls Fehler aufgetreten sind, die Anzahl der fehlgeschlagenen Datenqualitätsprüfungen.

   • Im Abschnitt Konfiguration für Datenqualitätsscan werden Details zum Scan angezeigt.

3. Wenn Sie detaillierte Informationen zu einem Job aufrufen möchten, z. B. Datenqualitätswerte, die den Prozentsatz der bestandenen Regeln angeben, fehlgeschlagene Regeln und die Joblogs, klicken Sie auf den Tab Jobverlauf. Klicken Sie dann auf eine Job-ID.

gcloud

Verwenden Sie den Befehl gcloud dataplex datascans jobs describe, um die Ergebnisse eines Datenqualitätsscan-Jobs aufzurufen:

gcloud dataplex datascans jobs describe JOB \
--location=LOCATION \
--datascan=DATASCAN \
--view=FULL

Ersetzen Sie die folgenden Variablen:

• JOB: Die Job-ID des Jobs für den Datenqualitäts-Scan.
• LOCATION: Die Google Cloud Region, in der der Datenqualitäts-Scan erstellt wurde.
• DATASCAN: Der Name des Datenqualitäts-Scans, zu dem der Job gehört.
• --view=FULL: Wenn Sie das Ergebnis des Scanjobs sehen möchten, geben Sie FULL an.

REST

Verwenden Sie die Methode dataScans.get, um die Ergebnisse eines Datenqualitätsscans aufzurufen.

Console

1. Rufen Sie in der Google Cloud Console auf der Seite BigQuery → Metadata curation (BigQuery → Metadatenverwaltung) den Tab Data profiling & quality (Datenprofilerstellung und ‑qualität) auf.

   Zu „Datenprofilerstellung und ‑qualität“

2. Klicken Sie auf den Namen eines Datenqualitätsscans.

3. Klicken Sie auf den Tab Jobverlauf.

   Auf dem Tab Jobverlauf finden Sie Informationen zu früheren Jobs, z. B. die Anzahl der in jedem Job gescannten Datensätze, den Jobstatus, die Uhrzeit, zu der der Job ausgeführt wurde, und ob jede Regel bestanden oder fehlgeschlagen ist.

4. Wenn Sie detaillierte Informationen zu einem Job aufrufen möchten, klicken Sie auf einen der Jobs in der Spalte Job-ID.

gcloud

Verwenden Sie den gcloud dataplex datascans jobs list-Befehl, um Jobs für Datenqualitätsscans aus dem Verlauf aufzurufen:

gcloud dataplex datascans jobs list \
--location=LOCATION \
--datascan=DATASCAN \

Ersetzen Sie die folgenden Variablen:

• LOCATION: Die Google Cloud Region, in der der Datenqualitäts-Scan erstellt wurde.
• DATASCAN: Der Name des Datenqualitäts-Scans, für den Sie den Jobverlauf aufrufen möchten.

REST

Verwenden Sie die Methode dataScans.jobs.list, um historische Datenqualitätsscan-Jobs aufzurufen.

Console

1. Rufen Sie in der Google Cloud Console auf der Seite BigQuery → Metadata curation (BigQuery → Metadatenverwaltung) den Tab Data profiling & quality (Datenprofilerstellung und ‑qualität) auf.

   Zu „Datenprofilerstellung und ‑qualität“

2. Klicken Sie auf den Namen des Datenqualitäts-Scans, dessen Datensätze Sie untersuchen möchten.

3. Klicken Sie auf den Tab Jobverlauf.

4. Klicken Sie auf die Job-ID des Jobs, bei dem Datenqualitätsfehler festgestellt wurden.

5. Suchen Sie im Fenster mit den Job-Ergebnissen, das sich öffnet, im Bereich Regeln nach der Spalte Abfrage zum Abrufen fehlgeschlagener Datensätze. Klicken Sie für die fehlgeschlagene Regel auf Abfrage in die Zwischenablage kopieren.

6. Führen Sie die Abfrage in BigQuery aus, um die Datensätze zu sehen, die zum Fehlschlagen des Jobs geführt haben.

gcloud

Nicht unterstützt.

REST

1. Verwenden Sie die dataScans.get-Methode, um den Job abzurufen, in dem Datenqualitätsprobleme erkannt wurden.

   Im Antwortobjekt wird die Abfrage im Feld failingRowsQuery angezeigt.

2. Führen Sie die Abfrage in BigQuery aus, um die Datensätze zu sehen, die zum Fehlschlagen des Jobs geführt haben.

Console

1. Rufen Sie in der Google Cloud Console auf der Seite BigQuery → Metadata curation (BigQuery → Metadatenverwaltung) den Tab Data profiling & quality (Datenprofilerstellung und ‑qualität) auf.

   Zu „Datenprofilerstellung und ‑qualität“

2. Klicken Sie auf den Namen eines Datenqualitätsscans.

3. Wenn Sie Einstellungen wie den Anzeigenamen, Filter und den Zeitplan bearbeiten möchten, klicken Sie auf Bearbeiten. Bearbeiten Sie die Werte und klicken Sie dann auf Speichern.

4. Wenn Sie die Regeln zur Datenqualität bearbeiten möchten, klicken Sie auf der Seite mit den Scandetails auf den Tab Aktuelle Regeln. Klicken Sie auf Regeln ändern. Aktualisieren Sie die Regeln und klicken Sie dann auf Speichern.

gcloud

Verwenden Sie den gcloud dataplex datascans update data-quality-Befehl, um die Beschreibung eines Datenqualitäts-Scans zu aktualisieren:

gcloud dataplex datascans update data-quality DATASCAN \
--location=LOCATION \
--description=DESCRIPTION

Ersetzen Sie Folgendes:

• DATASCAN: Der Name des Datenqualitäts-Scans, der aktualisiert werden soll.
• LOCATION: Die Google Cloud Region, in der der Datenqualitäts-Scan erstellt wurde.
• DESCRIPTION: Die neue Beschreibung für den Scan der Datenqualität.

REST

Verwenden Sie die dataScans.patch-Methode, um einen Datenqualitätsscan zu bearbeiten.

Console

1. Rufen Sie in der Google Cloud Console auf der Seite BigQuery → Metadata curation (BigQuery → Metadatenverwaltung) den Tab Data profiling & quality (Datenprofilerstellung und ‑qualität) auf.

   Zu „Datenprofilerstellung und ‑qualität“

2. Klicken Sie auf den Scan, den Sie löschen möchten.

3. Klicken Sie auf Löschen und bestätigen Sie den Vorgang, wenn Sie dazu aufgefordert werden.

gcloud

Verwenden Sie den Befehl gcloud dataplex datascans delete, um einen Datenqualitätsscan zu löschen:

gcloud dataplex datascans delete DATASCAN \
--location=LOCATION \
--async

Ersetzen Sie die folgenden Variablen:

• DATASCAN: Der Name des zu löschenden Datenqualitäts-Scans.
• LOCATION: Die Google Cloud Region, in der der Datenqualitäts-Scan erstellt wurde.

REST

Verwenden Sie zum Löschen eines Datenqualitätsscans die Methode dataScans.delete.