Datenprofil erstellen:

In diesem Dokument wird erläutert, wie Sie Datenprofilscans verwenden, um Ihre Daten besser zu verstehen. BigQuery verwendet Dataplex Universal Catalog, um die statistischen Merkmale Ihrer Daten zu analysieren, z. B. Durchschnittswerte, eindeutige Werte und Höchstwerte. Dataplex Universal Catalog verwendet diese Informationen auch, um Regeln für Datenqualitätsprüfungen zu empfehlen.

Weitere Informationen zur Datenprofilerstellung finden Sie unter Datenprofilerstellung.

Hinweise

Enable the Dataplex API.

Enable the API

Erforderliche Rollen

Zum Erstellen von Profilen für BigQuery-Tabellen benötigen Sie die folgenden Berechtigungen:

• Wenn Sie einen Datenprofilscan für eine BigQuery-Tabelle ausführen möchten, benötigen Sie die Berechtigung zum Lesen der BigQuery-Tabelle und die Berechtigung zum Erstellen eines BigQuery-Jobs in dem Projekt, das zum Scannen der Tabelle verwendet wird.

• Wenn sich die BigQuery-Tabelle und der Datenprofilscan in verschiedenen Projekten befinden, müssen Sie dem Dataplex Universal Catalog-Dienstkonto die Leseberechtigung für die entsprechende BigQuery-Tabelle erteilen.

• Wenn die BigQuery-Daten in einem Dataplex Universal Catalog-Lake organisiert sind, benötigen Sie zum Erstellen eines Datenprofilscans die Dataplex Universal Catalog-Rollen roles/dataplex.metadataReader und roles/dataplex.viewer. Dadurch werden die folgenden Berechtigungen gewährt:

  • dataplex.lakes.list
  • dataplex.lakes.get
  • dataplex.zones.list
  • dataplex.zones.get
  • dataplex.entities.list
  • dataplex.entities.get
  • dataplex.operations.get

• Wenn Sie eine externe BigQuery-Tabelle aus Cloud Storage scannen, weisen Sie dem Dataplex Universal Catalog-Dienstkonto entweder die Rolle „Storage-Objekt-Betrachter“ (roles/storage.objectViewer) oder die folgenden Berechtigungen für den Bucket zu:

  • storage.buckets.get
  • storage.objects.get

• Wenn Sie die Ergebnisse des Datenprofilscans auf den Seiten des BigQuery- und Dataplex-Universalkatalogs in derGoogle Cloud -Konsole für die Quelltabellen veröffentlichen möchten, muss Ihnen die Rolle „BigQuery-Datenbearbeiter“ (roles/bigquery.dataEditor) für die Tabelle zugewiesen sein. Alternativ benötigen Sie alle der folgenden Berechtigungen:

  • bigquery.tables.get
  • bigquery.tables.update
  • bigquery.tables.updateData
  • bigquery.tables.delete

• Wenn Sie die Scanergebnisse in eine BigQuery-Tabelle exportieren möchten, benötigt Ihr Dataplex Universal Catalog-Dienstkonto die Rolle „BigQuery-Datenbearbeiter“ (roles/bigquery.dataEditor). Dadurch werden die folgenden Berechtigungen gewährt:

  • bigquery.datasets.get
  • bigquery.tables.create
  • bigquery.tables.get
  • bigquery.tables.getData
  • bigquery.tables.update
  • bigquery.tables.updateData

• Wenn Sie auf Spalten zugreifen müssen, die durch BigQuery-Zugriffsrichtlinien auf Spaltenebene geschützt sind, weisen Sie dem Dataplex Universal Catalog-Dienstkonto Berechtigungen für diese Spalten zu. Der Nutzer, der einen Datenscan erstellt oder aktualisiert, benötigt auch Berechtigungen für die Spalten.

• Wenn für eine Tabelle BigQuery-Zugriffsrichtlinien auf Zeilenebene aktiviert sind, können Sie nur Zeilen scannen, die für das Dataplex Universal Catalog-Dienstkonto sichtbar sind. Die Zugriffsberechtigungen des einzelnen Nutzers werden bei Richtlinien auf Zeilenebene nicht berücksichtigt.

Rollen und Berechtigungen für Datenscans

Wenn Sie die Datenprofilerstellung verwenden möchten, bitten Sie Ihren Administrator, Ihnen eine der folgenden IAM-Rollen zuzuweisen:

• roles/dataplex.dataScanAdmin: Vollständiger Zugriff auf DataScan-Ressourcen.
• roles/dataplex.dataScanEditor: Schreibzugriff auf DataScan-Ressourcen.
• roles/dataplex.dataScanViewer: Lesezugriff auf DataScan-Ressourcen, mit Ausnahme der Ergebnisse.
• roles/dataplex.dataScanDataViewer: Lesezugriff auf DataScan-Ressourcen, einschließlich der Ergebnisse.

In der folgenden Tabelle sind die Berechtigungen für Datenscans aufgeführt:

Datenprofilscan erstellen

gcloud dataplex datascans create data-profile DATASCAN \
--location=LOCATION \
--data-source-entity=DATA_SOURCE_ENTITY

gcloud dataplex datascans create data-profile DATASCAN \
--location=LOCATION \
--data-source-resource=DATA_SOURCE_RESOURCE

Mehrere Datenprofilscans erstellen

Sie können Datenprofilscans für mehrere Tabellen in einem BigQuery-Dataset gleichzeitig konfigurieren, indem Sie die Google Cloud Konsole verwenden.

1. Rufen Sie in der Google Cloud Console auf der Seite BigQuery → Metadata curation (BigQuery → Metadatenverwaltung) den Tab Data profiling & quality (Datenprofilerstellung und ‑qualität) auf.

   Zu „Datenprofilerstellung und ‑qualität“

2. Klicken Sie auf Datenprofilscan erstellen.

3. Wählen Sie die Option Mehrere Datenprofilscans aus.

4. Geben Sie ein ID Präfix ein. In Dataplex Universal Catalog werden Scan-IDs automatisch anhand des angegebenen Präfixes und eindeutiger Suffixe generiert.

5. Geben Sie eine Beschreibung für alle Datenprofilscans ein.

6. Klicken Sie im Feld Dataset auf Durchsuchen. Wählen Sie ein Dataset aus, aus dem Sie Tabellen auswählen möchten. Klicken Sie auf Auswählen.

7. Wenn das Dataset multiregional ist, wählen Sie eine Region aus, in der die Datenprofilscans erstellt werden sollen.

8. Konfigurieren Sie die allgemeinen Einstellungen für die Scans:

   1. Wählen Sie im Feld Umfang die Option Inkrementell oder Gesamte Daten aus.

   2. Wenn Sie die Probenahme auf die Datenprofilscans anwenden möchten, wählen Sie in der Liste Probegröße einen Prozentsatz für die Probenahme aus.

      Wählen Sie einen Prozentwert zwischen 0,0 % und 100,0 % mit bis zu drei Dezimalstellen aus.

   3. Optional: Veröffentlichen Sie die Ergebnisse des Datenprofilscans auf den BigQuery- und Dataplex Universal Catalog-Seiten in derGoogle Cloud Console für die Quelltabelle. Klicken Sie das Kästchen Ergebnisse in der BigQuery- und Dataplex-Katalog-UI veröffentlichen an.

      Die neuesten Scanergebnisse können Sie auf den BigQuery- und Dataplex Universal Catalog-Seiten für die Quelltabelle auf dem Tab Datenprofil ansehen. Informationen dazu, wie Sie Nutzern Zugriff auf die veröffentlichten Scanergebnisse gewähren, finden Sie im Abschnitt Zugriff auf Ergebnisse des Datenprofilscans gewähren in diesem Dokument.

   4. Wählen Sie im Bereich Zeitplan eine der folgenden Optionen aus:

      • Wiederholen: Führen Sie die Datenprofil-Scans nach einem Zeitplan aus: stündlich, täglich, wöchentlich, monatlich oder benutzerdefiniert. Geben Sie an, wie oft und zu welcher Uhrzeit die Scans ausgeführt werden sollen. Wenn Sie „benutzerdefiniert“ auswählen, geben Sie den Zeitplan im Cron-Format an.

      • On-Demand: Führen Sie die Datenprofilscans bei Bedarf aus.

9. Klicken Sie auf Weiter.

10. Klicken Sie im Feld Tabellen auswählen auf Durchsuchen. Wählen Sie eine oder mehrere Tabellen aus, die gescannt werden sollen, und klicken Sie dann auf Auswählen.

11. Klicken Sie auf Weiter.

12. Optional: Exportieren Sie die Scanergebnisse in eine BigQuery-Standardtabelle. Führen Sie im Abschnitt Scanergebnisse in BigQuery-Tabelle exportieren folgende Schritte aus:

    1. Klicken Sie im Feld BigQuery-Dataset auswählen auf Durchsuchen. Wählen Sie ein BigQuery-Dataset zum Speichern der Ergebnisse des Datenprofilscans aus.

    2. Geben Sie im Feld BigQuery-Tabelle die Tabelle an, in der die Ergebnisse des Datenprofilscans gespeichert werden sollen. Wenn Sie eine vorhandene Tabelle verwenden, muss sie mit dem Schema der Exporttabelle kompatibel sein. Wenn die angegebene Tabelle nicht vorhanden ist, wird sie von Dataplex Universal Catalog erstellt.

       Dataplex Universal Catalog verwendet dieselbe Ergebnistabelle für alle Datenprofilscans.

13. Optional: Fügen Sie Labels hinzu. Labels sind Schlüssel/Wert-Paare, mit denen Sie verwandte Objekte zusammen oder mit anderen Google Cloud Ressourcen gruppieren können.

14. Klicken Sie auf Erstellen, um die Scans zu erstellen.

    Wenn Sie den Zeitplan auf „On-Demand“ festlegen, können Sie die Scans auch jetzt ausführen, indem Sie auf Scan ausführen klicken.

Datenprofilscan ausführen

gcloud dataplex datascans run DATASCAN \
--location=LOCATION

Ergebnisse des Datenprofilscans ansehen

gcloud dataplex datascans jobs describe JOB \
--location=LOCATION \
--datascan=DATASCAN \
--view=FULL

Veröffentlichte Ergebnisse ansehen

Wenn die Ergebnisse des Datenprofilscans in der Google Cloud -Konsole auf den BigQuery- und Dataplex Universal Catalog-Seiten veröffentlicht werden, können Sie die neuesten Scanergebnisse auf dem Tab Datenprofil der Quelltabelle sehen.

1. Rufen Sie in der Google Cloud Console die Seite "BigQuery" auf.

   BigQuery aufrufen

2. Wählen Sie im Bereich Explorer die Tabelle aus, deren Ergebnisse des Datenprofilscans Sie sehen möchten.

3. Klicken Sie auf den Tab Datenprofil.

   Die zuletzt veröffentlichten Ergebnisse werden angezeigt.

Letzten Datenprofilscan-Job ansehen

gcloud dataplex datascans describe DATASCAN \
--location=LOCATION \
--view=FULL

Historische Scanergebnisse ansehen

In Dataplex Universal Catalog wird der Verlauf der Datenprofilscans der letzten 300 Jobs oder des letzten Jahres gespeichert (der kürzere Zeitraum gilt).

gcloud dataplex datascans jobs list \
--location=LOCATION \
--datascan=DATASCAN

Scans von Datenprofilen für eine Tabelle ansehen

So rufen Sie die Datenprofilscans auf, die für eine bestimmte Tabelle gelten:

1. Rufen Sie in der Google Cloud Console auf der Seite „BigQuery“ → Metadata curation (Metadaten-Kuratierung) den Tab Data profiling & quality (Datenprofilerstellung und ‑qualität) auf.

   Zu „Datenprofilerstellung und ‑qualität“

2. Filtern Sie die Liste nach Tabellennamen und Scantyp.

Zugriff auf Ergebnisse von Datenprofilscans gewähren

So ermöglichen Sie Nutzern in Ihrer Organisation, die Scanergebnisse aufzurufen:

1. Rufen Sie in der Google Cloud Console auf der Seite BigQuery → Metadata curation (BigQuery → Metadatenverwaltung) den Tab Data profiling & quality (Datenprofilerstellung und ‑qualität) auf.

   Zu „Datenprofilerstellung und ‑qualität“

2. Klicken Sie auf den Datenqualitätsscan, dessen Ergebnisse Sie teilen möchten.

3. Klicken Sie auf den Tab Berechtigungen.

4. Gehen Sie dazu so vor:

   • Wenn Sie einem Hauptkonto Zugriff gewähren möchten, klicken Sie auf person_add Zugriff gewähren. Weisen Sie dem zugehörigen Hauptkonto die Rolle Dataplex DataScan DataViewer zu.
   • Wenn Sie den Zugriff von einem Hauptkonto entfernen möchten, wählen Sie das Hauptkonto aus, aus dem Sie die Rolle Dataplex DataScan DataViewer entfernen möchten. Klicken Sie auf person_remove Zugriff entfernen und bestätigen Sie den Vorgang, wenn Sie dazu aufgefordert werden.

Scans von Datenprofilen für eine bestimmte Tabelle verwalten

In diesem Dokument wird beschrieben, wie Sie Datenprofilscans in Ihrem Projekt über die Seite „BigQuery“ > Metadaten-Curation> „Datenprofilierung und ‑qualität“ in derGoogle Cloud -Konsole verwalten.

Sie können auch Scans für Datenprofile erstellen und verwalten, wenn Sie mit einer bestimmten Tabelle arbeiten. Verwenden Sie in der Google Cloud Console auf der BigQuery-Seite für die Tabelle den Tab Datenprofil. Gehen Sie dazu so vor:

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

   Wählen Sie im Bereich Explorer die Tabelle aus.

2. Klicken Sie auf den Tab Datenprofil.

3. Je nachdem, ob für die Tabelle ein Datenprofilscan mit veröffentlichten Ergebnissen vorhanden ist, haben Sie folgende Möglichkeiten:

   • Ergebnisse des Datenprofilscans werden veröffentlicht: Die neuesten veröffentlichten Scanergebnisse werden auf der Seite angezeigt.

     Wenn Sie die Datenprofilscans für diese Tabelle verwalten möchten, klicken Sie auf Datenprofilscan und wählen Sie dann eine der folgenden Optionen aus:

     • Neuen Scan erstellen: Erstellen Sie einen neuen Datenprofilscan. Weitere Informationen finden Sie in diesem Dokument im Abschnitt Datenprofilscan erstellen. Wenn Sie einen Scan über die Detailseite einer Tabelle erstellen, ist die Tabelle bereits ausgewählt.

     • Jetzt ausführen: Scan ausführen

     • Scankonfiguration bearbeiten: Bearbeiten Sie Einstellungen wie den Anzeigenamen, Filter, die Stichprobengröße und den Zeitplan.

     • Scanberechtigungen verwalten: Sie können festlegen, wer auf die Scanergebnisse zugreifen darf. Weitere Informationen finden Sie im Abschnitt Zugriff auf Ergebnisse von Datenprofilscans gewähren in diesem Dokument.

     • Historische Ergebnisse ansehen: Hier können Sie detaillierte Informationen zu früheren Datenprofilscan-Jobs aufrufen. Weitere Informationen finden Sie in diesem Dokument in den Abschnitten Ergebnisse des Datenprofilscans ansehen und Verlaufsergebnisse des Scans ansehen.

     • Alle Scans ansehen: Hier sehen Sie eine Liste der Datenprofilscans, die für diese Tabelle gelten.

   • Ergebnisse des Datenprofilscans werden nicht veröffentlicht: Klicken Sie auf das Menü neben Schnelles Datenprofil und wählen Sie eine der folgenden Optionen aus:

     • Datenprofilerstellung anpassen: Erstellen Sie einen neuen Datenprofilscan. Weitere Informationen finden Sie in diesem Dokument im Abschnitt Datenprofilscan erstellen. Wenn Sie einen Scan über die Detailseite einer Tabelle erstellen, ist die Tabelle bereits ausgewählt.

     • Vorherige Profile ansehen: Hier sehen Sie eine Liste der Datenprofilscans, die für diese Tabelle gelten.

Datenprofilscan aktualisieren

gcloud dataplex datascans update data-profile DATASCAN \
--location=LOCATION \
--description=DESCRIPTION

Datenprofilscan löschen

gcloud dataplex datascans delete DATASCAN \
--location=LOCATION --async

Nächste Schritte

• Data Insights in BigQuery generieren
• Weitere Informationen zur Data Governance in BigQuery