Datenprofilscans erstellen und verwenden

Console

1. Rufen Sie in der Google Cloud Console die Seite Profil auf.

   Dataplex Universal Catalog-Profil aufrufen

2. Klicken Sie auf Datenprofilscan erstellen.

3. Geben Sie einen Anzeigenamen ein.

4. Wenn Sie die automatisch generierte Scan-ID ändern möchten, geben Sie eine eigene an. Weitere Informationen finden Sie unter Konvention für Ressourcennamen.

5. Optional: Geben Sie eine Beschreibung ein.

6. Klicken Sie im Feld Tabelle auf Durchsuchen.

7. Wählen Sie eine Tabelle aus und klicken Sie auf Auswählen.

8. Wählen Sie im Feld Umfang die Option Inkrementell oder Gesamte Daten aus.

   • Wenn Sie Inkrementelle Daten auswählen, wählen Sie im Feld Zeitstempelspalte eine Spalte vom Typ DATE oder TIMESTAMP aus Ihrer BigQuery-Tabelle aus, die monoton zunimmt und zum Identifizieren neuer Datensätze verwendet werden kann. Für Tabellen, die nach einer Spalte des Typs DATE oder TIMESTAMP partitioniert sind, empfehlen wir, die Partitionsspalte als Zeitstempelfeld zu verwenden.

9. Wenn Sie die Probenahme auf Ihren Datenprofilscan anwenden möchten, wählen Sie in der Liste Probegröße einen Prozentsatz für die Probenahme aus.

   • Wählen Sie einen Prozentwert zwischen 0,0% und 100,0% mit bis zu drei Dezimalstellen aus.
   • Bei größeren Datasets sollten Sie einen niedrigeren Prozentsatz für die Stichprobenerhebung auswählen. Wenn Sie beispielsweise für eine Tabelle mit einem Umfang von etwa 1 PB einen Wert zwischen 0,1% und 1, 0 % eingeben, werden im Dataplex Universal Catalog 1–10 TB an Daten als Stichprobe verwendet.
   • Sie benötigen mindestens 100 Datensätze in den Stichprobendaten, um ein Ergebnis zu erhalten.
   • Bei inkrementellen Datenscans wird die Stichprobenerhebung in Dataplex Universal Catalog auf das letzte Inkrement angewendet.

10. Wenn Sie nach Zeile filtern möchten, klicken Sie auf Filter und wählen Sie Zeilen filtern aus.

    • Geben Sie einen gültigen SQL-Ausdruck ein, der in einer WHERE-Klausel in GoogleSQL-Syntax verwendet werden kann. Beispiel: col1 >= 0.

    • Der Filter kann eine Kombination aus SQL-Bedingungen für mehrere Spalten sein. Beispiel: col1 >= 0 AND col2 < 10.

11. Optional: Klicken Sie auf Filter. Klicken Sie das Kästchen Spalten filtern an.

    a. Klicken Sie im Feld Spalten einbeziehen auf Durchsuchen.

    • Geben Sie an, welche Spalten in den Profilscan einbezogen werden sollen. Wählen Sie die gewünschten Spalten aus, indem Sie die Kästchen aktivieren und auf Auswählen klicken.

    b. Klicken Sie im Feld Spalten ausschließen auf Durchsuchen.

    • Geben Sie an, welche Spalten vom Profilscan ausgeschlossen werden sollen. Wählen Sie die gewünschten Spalten aus, indem Sie die Kästchen aktivieren und auf Auswählen klicken.

12. Optional: Veröffentlichen Sie die Ergebnisse des Datenprofilscans in derGoogle Cloud -Konsole auf den Seiten „BigQuery“ und „Dataplex Universal Catalog“ für die Quelltabelle. Klicken Sie das Kästchen Ergebnisse in BigQuery und der Dataplex Catalog-UI veröffentlichen an.

    Sie können die neuesten Scanergebnisse auf den BigQuery- und Dataplex Universal Catalog-Seiten für die Quelltabelle auf dem Tab Datenprofil ansehen. Informationen dazu, wie Sie Nutzern Zugriff auf die veröffentlichten Scanergebnisse gewähren, finden Sie unter Veröffentlichte Ergebnisse teilen.

    Die Veröffentlichungsoption ist möglicherweise in den folgenden Fällen nicht verfügbar:

    • Sie haben nicht die erforderlichen Berechtigungen für die Tabelle.
    • Ein anderer Datenqualitätsscan ist für die Veröffentlichung von Ergebnissen festgelegt.

    Weitere Informationen zu den Berechtigungen, die zum Aufrufen der veröffentlichten Ergebnisse erforderlich sind, finden Sie unter Berechtigungen.

13. Optional: Exportieren Sie die Scanergebnisse in eine BigQuery-Standardtabelle. Klicken Sie auf Durchsuchen, um ein vorhandenes BigQuery-Dataset zum Speichern der Ergebnisse des Datenprofilscans auszuwählen.

    Wenn die angegebene Tabelle nicht vorhanden ist, wird sie von Dataplex Universal Catalog für Sie erstellt. Wenn Sie eine vorhandene Tabelle verwenden, muss sie mit dem Tabellenschema kompatibel sein, das weiter unten in diesem Abschnitt beschrieben wird.

14. Optional: Fügen Sie Labels hinzu. Labels sind key:value-Paare, mit denen Sie verwandte Objekte zusammen oder mit anderen Google Cloud Ressourcen gruppieren können.

15. Wählen Sie unter Zeitplanoptionen eine der folgenden Optionen aus:

    • Wiederholen: Führen Sie den Scanjob für Ihr Datenprofil nach einem Zeitplan aus: täglich, wöchentlich, monatlich oder benutzerdefiniert. Geben Sie an, wie oft und zu welcher Uhrzeit der Scan ausgeführt werden soll. Wenn Sie „Benutzerdefiniert“ auswählen, verwenden Sie das Cron-Format, um den Zeitplan anzugeben.

    • On-Demand: Sie können Ihren Datenprofilscan erstellen und ihn jederzeit mit der Aktion „Jetzt ausführen“ ausführen.

16. Klicken Sie auf Erstellen.

gcloud

Führen Sie den folgenden Befehl aus, um einen Scan des Datenprofils zu erstellen:

gcloud dataplex datascans create data-profile DATASCAN \
--location=LOCATION \
--data-source-entity=DATA_SOURCE_ENTITY
| --data-source-resource=DATA_SOURCE_RESOURCE

Ersetzen Sie die folgenden Variablen:

• DATASCAN: Der Name des Datenprofil-Scans.
• LOCATION: Die Google Cloud Region, in der der Datenprofilscan erstellt werden soll.
• DATA_SOURCE_ENTITY: Die Dataplex Universal Catalog-Entität, die die Daten für den Datenprofilscan enthält. Beispiel: projects/test-project/locations/test-location/lakes/test-lake/zones/test-zone/entities/test-entity
• DATA_SOURCE_RESOURCE: Der Name der Ressource, die die Daten für den Datenprofilscan enthält. Beispiel: //bigquery.googleapis.com/projects/test-project/datasets/test-dataset/tables/test-table

Informationen zu optionalen Argumenten finden Sie in der Referenz zur gcloud CLI.

REST

Verwenden Sie den APIs Explorer, um einen Datenprofilscan zu erstellen.

Console

1. Rufen Sie in der Google Cloud Console die Seite Profil auf.

   Dataplex Universal Catalog-Profil aufrufen

2. Klicken Sie auf Mehrere Profilscans erstellen.

3. Geben Sie ein ID-Präfix ein. In Dataplex Universal Catalog werden Scan-IDs automatisch anhand des angegebenen Präfixes und eindeutiger Suffixe generiert.

4. Geben Sie eine Beschreibung für alle Datenprofilscans ein.

5. Klicken Sie im Feld Dataset auf Durchsuchen. Wählen Sie ein Dataset aus, aus dem Sie Tabellen auswählen möchten. Klicken Sie auf Auswählen.

6. Wenn das Dataset multiregional ist, wählen Sie eine Region aus, in der die Datenscanprofile erstellt werden sollen.

7. Wählen Sie Gängige Konfigurationsoptionen aus:

   1. Wählen Sie im Feld Umfang die Option Inkrementell oder Gesamte Daten aus.

   2. Wenn Sie die Probenahme auf Ihre Datenprofilscans anwenden möchten, wählen Sie in der Liste Probegröße einen Prozentsatz für die Probenahme aus.

      Wählen Sie einen Prozentwert zwischen 0,0% und 100,0% mit bis zu drei Dezimalstellen aus.

   3. Wenn Sie die Ergebnisse aller Scans sehen möchten, wählen Sie Veröffentlichung aus. Sie können die Ergebnisse auf dem Tab Profil in den BigQuery- oder Dataplex Universal Catalog-Tabellendetails ansehen. Prüfen Sie, ob Sie die Berechtigung bigquery.tables.update für die Quelltabellen haben.

   4. Wählen Sie unter Zeitplanoptionen eine der folgenden Optionen aus:

      1. Wiederholen: Sie können Ihre Datenprofilscan-Jobs nach einem Zeitplan ausführen. Geben Sie an, wie oft der Scan ausgeführt werden soll (täglich, wöchentlich, monatlich oder benutzerdefiniert) und zu welcher Uhrzeit. Wenn Sie „Benutzerdefiniert“ auswählen, verwenden Sie das Cron-Format, um den Zeitplan anzugeben.

      2. Auf Anfrage: Sie können Ihre Datenprofilscan-Jobs erstellen und jederzeit ausführen, indem Sie auf Ausführen klicken.

8. Klicken Sie bei der Option Tabellen auswählen auf Durchsuchen. Wählen Sie eine oder mehrere Tabellen aus, die gescannt werden sollen. Klicken Sie auf Auswählen.

9. Wählen Sie Weitere Einstellungen aus:

   1. Wenn Sie die Ergebnisse Ihrer Datenprofilscans in einer BigQuery-Tabelle Ihrer Wahl speichern möchten, wählen Sie eine Tabelle unter Scanergebnisse in BigQuery-Tabelle exportieren aus. Dataplex Universal Catalog kopiert und speichert die Ergebnisse für jeden Scanjob automatisch in dieser Tabelle.

      1. Klicken Sie auf Durchsuchen, um ein Dataset auszuwählen.

      2. Geben Sie eine BigQuery-Tabelle ein, in der die Ergebnisse gespeichert werden sollen. Das kann eine vorhandene Tabelle sein, die von anderen Dataplex Universal Catalog-Datenprofilscans zum Speichern von Ergebnissen verwendet wird. Wenn keine Tabelle mit dem angegebenen Namen vorhanden ist, wird sie von Dataplex Universal Catalog erstellt.

   2. Fügen Sie Labels hinzu, um Ihren Datenprofilscan zu kommentieren.

10. Klicken Sie auf Scan ausführen, um alle Scans zu erstellen und auszuführen. Diese Option ist nur für On-Demand-Scans verfügbar.

11. Klicken Sie auf Erstellen, um alle Scans zu erstellen.

gcloud

Nicht unterstützt.

REST

Nicht unterstützt.

Console

1. Rufen Sie in der Google Cloud Console die Seite Profil des Dataplex Universal Catalog auf. Profil aufrufen
2. Klicken Sie auf den Datenprofilscan, der ausgeführt werden soll.
3. Klicken Sie auf Jetzt ausführen.

gcloud

Führen Sie den folgenden Befehl aus, um einen Datenprofilscan auszuführen:

gcloud dataplex datascans run DATASCAN \
--location=LOCATION

Ersetzen Sie die folgenden Variablen:

• DATASCAN: Der Name des Datenprofil-Scans.
• LOCATION: Die Google Cloud -Region, in der der Scan des Datenprofils erstellt wurde.

Informationen zu optionalen Argumenten finden Sie in der Referenz zur gcloud CLI.

REST

Verwenden Sie den APIs Explorer, um Ihren Datenprofilscan auszuführen.

Console

Alle von Ihnen erstellten Datenprofilscans werden auf der Seite Profil angezeigt.

Klicken Sie auf den Namen des Scans, um die detaillierten Ergebnisse eines Scans aufzurufen.

• Im Bereich Übersicht werden die Scanläufe, die Uhrzeit der einzelnen Läufe, die Anzahl der gescannten Tabelleneinträge und der Jobstatus angezeigt.

• Der Bereich Konfiguration des Profilscans enthält Details zum Scan.

gcloud

Führen Sie den folgenden Befehl aus, um die Ergebnisse eines Datenprofilscan-Jobs aufzurufen:

gcloud dataplex datascans jobs describe JOB \
--location=LOCATION \
--datascan=DATASCAN \
--view=FULL

Ersetzen Sie die folgenden Variablen:

• JOB: Die Job-ID des Jobs zum Scannen von Datenprofilen.
• LOCATION: Die Google Cloud -Region, in der der Scan des Datenprofils erstellt wurde.
• DATASCAN: Der Name des Datenprofilscans, zu dem der Job gehört.
• --view=FULL: Wenn Sie das Ergebnis des Scanvorgangs sehen möchten, geben Sie FULL an.

Informationen zu optionalen Argumenten finden Sie in der Referenz zur gcloud CLI.

REST

Mit dem APIs Explorer können Sie die Ergebnisse eines Datenprofilscans ansehen.

Console

Auf dem Tab Letzte Job-Ergebnisse finden Sie Informationen zum letzten Job, sofern mindestens ein Lauf erfolgreich abgeschlossen wurde. Dort werden die Spalten der gescannten Tabelle und Statistiken zu den Spalten aufgeführt, die beim Scan gefunden wurden.

gcloud

Führen Sie den folgenden Befehl aus, um den letzten erfolgreichen Scan des Datenprofils aufzurufen:

gcloud dataplex datascans describe DATASCAN \
--location=LOCATION \
--view=FULL

Ersetzen Sie die folgenden Variablen:

• DATASCAN: Der Name des Datenprofil-Scans, für den Sie den letzten Job aufrufen möchten.
• LOCATION: Die Google Cloud -Region, in der der Scan des Datenprofils erstellt wurde.
• --view=FULL: Wenn Sie das Ergebnis des Scanvorgangs sehen möchten, geben Sie FULL an.

Informationen zu optionalen Argumenten finden Sie in der Referenz zur gcloud CLI.

REST

Verwenden Sie den APIs Explorer, um den letzten Scanjob anzusehen.

Console

Auf dem Tab Jobverlauf finden Sie Informationen zu früheren Jobs. Dort sind alle Jobs, die Anzahl der in jedem Job gescannten Datensätze, der Jobstatus, die Jobausführungszeit und weitere Informationen aufgeführt.

Wenn Sie die detaillierten Informationen zu einem Job aufrufen möchten, klicken Sie auf einen der Jobs unter Job-ID.

gcloud

Führen Sie den folgenden Befehl aus, um alle Jobs eines Datenprofil-Scans aufzurufen:

gcloud dataplex datascans jobs list \
--location=LOCATION \
--datascan=DATASCAN

Ersetzen Sie die folgenden Variablen:

• LOCATION: Die Google Cloud -Region, in der der Scan des Datenprofils erstellt wurde.
• DATASCAN: Der Name des Datenprofil-Scans, für den Sie alle Jobs ansehen möchten.

Informationen zu optionalen Argumenten finden Sie in der Referenz zur gcloud CLI.

REST

Mit dem APIs Explorer können Sie alle Scan-Jobs aufrufen.

Console

1. Rufen Sie in der Google Cloud Console die Seite Profil auf.

   Dataplex Universal Catalog-Profil aufrufen

2. Klicken Sie in der Zeile mit dem Scan, den Sie bearbeiten möchten, auf das Dreipunkt-Menü more_vert > Bearbeiten.

3. Bearbeiten Sie die Werte.

4. Klicken Sie auf Speichern.

gcloud

Führen Sie den folgenden Befehl aus, um einen Scan des Datenprofils zu aktualisieren:

gcloud dataplex datascans update data-profile DATASCAN \
--location=LOCATION \
--description=DESCRIPTION

Ersetzen Sie die folgenden Variablen:

• DATASCAN: Der Name des zu aktualisierenden Datenprofil-Scans.
• LOCATION: Die Google Cloud -Region, in der der Scan des Datenprofils erstellt wurde.
• DESCRIPTION: Die neue Beschreibung für den Scan des Datenprofils.

Informationen zu den Spezifikationsfeldern, die aktualisiert werden müssen, finden Sie in der Referenz zur gcloud CLI.

REST

Verwenden Sie den APIs Explorer, um einen Datenprofilscan zu bearbeiten.

Console

1. Rufen Sie in der Google Cloud Console die Seite Profil auf. Dataplex Universal Catalog-Profil aufrufen

2. Klicken Sie auf den Scan, den Sie löschen möchten.

3. Klicken Sie auf Löschen.

gcloud

Führen Sie den folgenden Befehl aus, um einen Scan des Datenprofils zu löschen:

gcloud dataplex datascans delete \
DATASCAN --location=LOCATION \
--async

Ersetzen Sie die folgenden Variablen:

• DATASCAN: Der Name des zu löschenden Datenprofil-Scans.
• LOCATION: Die Google Cloud -Region, in der der Scan des Datenprofils erstellt wurde.

Informationen zu optionalen Argumenten finden Sie in der Referenz zur gcloud CLI.

REST

Verwenden Sie den APIs Explorer, um Ihren Datenprofilscan zu löschen.