Cloud Storage-Daten ermitteln und katalogisieren

In diesem Dokument wird beschrieben, wie Sie die automatische Erkennung von Dataplex Universal Catalog verwenden, eine Funktion in BigQuery, mit der Sie Daten in Cloud Storage-Buckets scannen können, um Metadaten zu extrahieren und zu katalogisieren. Im Rahmen des Erkennungsscans werden durch die automatische Erkennung BigLake- oder externe Tabellen für strukturierte Daten und Objekttabellen für unstrukturierte Daten erstellt. Diese zentralisierten Tabellendaten erleichtern KI-basierte Datenanalysen, Datensicherheit und Governance.

Wenn Sie die automatische Erkennung von Cloud Storage-Daten verwenden möchten, erstellen Sie einen Erkennungsscan und führen ihn aus.

Übersicht über Erkennungsscans

Bei einem Erkennungsscan wird Folgendes ausgeführt:

• Scannt die Daten im Cloud Storage-Bucket oder -Pfad.
• Gruppiert strukturierte und semistrukturierte Daten in Tabellen.
• Erfasst Metadaten wie den Tabellennamen, das Schema und die Partitionsdefinition.
• Erstellt und aktualisiert BigLake-, externe oder Objekttabellen in BigQuery mithilfe des Schemas und der Partitionsdefinition.

Bei unstrukturierten Daten wie Bildern und Videos werden beim Discovery-Scan Gruppen von Dateien erkannt und registriert, die denselben Medientyp wie die BigLake-Objekttabellen haben. Wenn gs://images/group1 beispielsweise GIF-Bilder und gs://images/group2 JPEG-Bilder enthält, werden beim Discovery-Scan zwei Filesets erkannt und registriert.

Bei strukturierten Daten wie Avro werden bei der Erkennungsgruppe Dateigruppen als externe BigLake-Tabellen registriert. Dateien werden nur erkannt, wenn sie sich in Ordnern mit demselben Datenformat und einem kompatiblen Schema befinden.

Der Discovery-Scan unterstützt die folgenden strukturierten und semistrukturierten Datenformate:

• Parquet
• Avro
• ORC
• JSON (nur das durch Zeilenumbruch getrennte Format)
• CSV (aber keine CSV-Dateien mit Kommentarzeilen)

Beim Discovery-Scan werden die folgenden Komprimierungsformate für strukturierte und semistrukturierte Daten unterstützt:

• Interne Komprimierung für die folgenden Formate:

  Komprimierung	Beispiel für Dateiendung	Unterstütztes Format
  GZIP	.gz.parquet	Parquet
  LZ4	.lz4.parquet	Parquet
  Snappy	.snappy.parquet	Parquet, ORC, Avro
  lzo	.lzo.parquet	Parquet, ORC

• Externe Komprimierung für JSON- und CSV-Dateien:

  • GZIP
  • bzip2

Das Limit für die Anzahl der Tabellen, die von einem Discovery-Scan unterstützt werden, finden Sie unter Kontingente und Limits.

Die erkannten Tabellen werden in BigQuery als externe BigLake-Tabellen, BigLake-Objekttabellen oder externe Tabellen registriert. Dadurch werden die Daten zur Analyse in BigQuery verfügbar. Das Metadaten-Caching für BigLake-Tabellen und Objekttabellen ist ebenfalls aktiviert. Alle BigLake-Tabellen werden automatisch in Dataplex Universal Catalog aufgenommen, damit sie durchsucht und ermittelt werden können.

Hinweise

Enable the Dataplex API.

Enable the API

Erforderliche Rollen für das Dataplex Universal Catalog-Dienstkonto

Bevor Sie beginnen, weisen Sie dem Dataplex Universal Catalog-Dienstkonto in Ihrem Projekt die IAM-Berechtigungen zu.

  service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com
  

Ersetzen Sie PROJECT_NUMBER durch das Projekt, in dem die Dataplex API aktiviert ist.

Bitten Sie Ihren Administrator, dem Dataplex-Dienstkonto die folgenden IAM-Rollen zuzuweisen, damit es die erforderlichen Berechtigungen zum Erstellen und Ausführen eines Discovery-Scans hat:

• Dataplex Discovery Service Agent (roles/dataplex.discoveryServiceAgent) für den Speicher-Bucket
• Dataplex Discovery Publishing Service Agent (roles/dataplex.discoveryPublishingServiceAgent) für das Nutzerprojekt
• BigLake-Tabellen erstellen: Dataplex Discovery BigLake Publishing Service Agent (roles/dataplex.discoveryBigLakePublishingServiceAgent) für die BigQuery-Verbindung

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Erstellen und Ausführen eines Discovery-Scans erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Ihr Administrator kann dem Dataplex-Dienstkonto möglicherweise auch diese Berechtigungen mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erteilen.

Erforderliche Rollen für das Dienstkonto der BigQuery-Verbindung

Damit das Dienstkonto der BigQuery-Verbindung die erforderlichen Berechtigungen zum Erstellen eines Discovery-Scans hat, bitten Sie Ihren Administrator, dem Dienstkonto der BigQuery-Verbindung die IAM-Rolle Dataplex Discovery Service Agent (roles/dataplex.discoveryServiceAgent) für den Cloud Storage-Bucket zuzuweisen.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Erstellen eines Discovery-Scans erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Ihr Administrator kann dem Dienstkonto für BigQuery-Verbindungen möglicherweise auch diese Berechtigungen mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erteilen.

Erforderliche Rollen für Endnutzer

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für den Cloud Storage-Bucket zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen und Verwalten von Scans zur Datenermittlung benötigen:

• Vollständiger Zugriff auf DataScan-Ressourcen: Dataplex DataScan-Administrator (roles/dataplex.dataScanAdmin) – Ihr Projekt
• Schreibzugriff auf DataScan-Ressourcen: Dataplex DataScan-Bearbeiter (roles/dataplex.dataScanEditor) – Ihr Projekt
• Lesezugriff auf DataScan-Ressourcen, mit Ausnahme der Ergebnisse: Dataplex DataScan-Betrachter (roles/dataplex.dataScanViewer) – Ihr Projekt
• Lesezugriff auf DataScan-Ressourcen, einschließlich der Ergebnisse: Dataplex DataScan DataViewer (roles/dataplex.dataScanDataViewer) – Ihr Projekt

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Erstellen und Verwalten von Scans zur Datenermittlung erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Erkennungsscan erstellen

Um Daten zu ermitteln, müssen Sie einen Erkennungsscan erstellen und ausführen. Sie können einen Zeitplan für den Scan festlegen oder den Scan bei Bedarf ausführen.

Wenn der Ermittlungsscan ausgeführt wird, wird in BigQuery ein neues Dataset erstellt, das dem gescannten Cloud Storage-Bucket entspricht. Der Name des BigQuery-Datasets ist derselbe wie der Name des Cloud Storage-Bucket. Ungültige Zeichen im Bucket-Namen werden durch einen Unterstrich ersetzt. Wenn der Datasetname nicht verfügbar ist, wird ein Suffix angehängt (z. B. _discovered_001). Das Dataset enthält die externen BigLake- oder Nicht-BigLake-Tabellen, die durch den Discovery-Scan für die weitere Analyse erstellt wurden.

gcloud dataplex datascans create data-discovery --location=LOCATION
--data-source-resource=BUCKET_PATH

Veröffentlichte BigLake-Tabellen abfragen

Nachdem Sie den Ermittlungsscan ausgeführt haben, werden BigLake-Tabellen in einem neuen Dataset in BigQuery veröffentlicht. Die Tabellen stehen dann in BigQuery zur Analyse mit SQL oder in Dataproc mit Apache Spark oder HiveQL zur Verfügung.

Veröffentlichte BigLake-Tabellen verwalten

Veröffentlichte BigLake-Tabellen werden durch den Erkennungsscan in BigQuery erstellt und verwaltet. Standardmäßig werden beim Discovery-Scan jedes Mal, wenn die geplanten oder On-Demand-Scans ausgeführt werden, neue Daten ermittelt, Schemas abgeleitet und Schemas weiterentwickelt. Um anzugeben, dass Metadaten vom Scan verwaltet werden, werden Tabellen mit dem Label metadata-managed-mode, das auf discovery-managed festgelegt ist, veröffentlicht.

Wenn Sie das Schema und andere Metadaten wie CSV- oder JSON-Optionen selbst verwalten möchten, legen Sie das Label metadata-managed-mode auf user_managed fest. So bleibt das Schema unverändert, wenn der nächste Erkennungsscan ausgeführt wird. Dieser Ansatz kann in Szenarien nützlich sein, in denen das Schema, das durch den Discovery-Scan abgeleitet wird, falsch ist oder sich von dem unterscheidet, was für eine bestimmte Tabelle erwartet wird. Wenn das Label metadata-managed-mode auf user_managed festgelegt ist, können die Kosten gesenkt werden.

Wenn Sie das Label aktualisieren möchten, können Sie den Wert des Labelschlüssels metadata-managed-mode in user_managed anstatt in discovery-managed ändern. In diesem Fall wird das Schema der Tabelle durch den Erkennungsscan nicht aktualisiert, solange das Label user_managed an die Tabelle angehängt ist.

Veröffentlichte BigLake-Tabellen aktualisieren

Bei BigLake-Tabellen, die mit den Discovery-Scan-Jobs mit der Standardkonfiguration veröffentlicht werden, werden das Schema und andere Metadaten automatisch bei jeder Ausführung des Discovery-Scan-Jobs in der geplanten Häufigkeit aktualisiert.

So aktualisieren Sie eine veröffentlichte BigLake-Tabelle:

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Ein oder mehrere Tabellenattribute aktualisieren

3. Maximieren Sie im Bereich Explorer Ihr Projekt und das Dataset und wählen Sie dann die Tabelle aus.

4. Prüfen Sie auf dem Tab Details im Bereich Labels, ob das Label metadata-managed-mode auf user_managed festgelegt ist. Wenn ein anderer Wert festgelegt ist, gehen Sie so vor:

   1. Klicken Sie auf edit Details bearbeiten.

   2. Geben Sie neben dem Schlüssel metadata-managed-mode im Feld value den Wert user_managed ein.

Veröffentlichte BigLake-Tabellen löschen

So löschen Sie eine veröffentlichte BigLake-Tabelle:

1. Datendateien für die Tabelle im Cloud Storage-Bucket löschen

2. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

3. Maximieren Sie im Bereich Explorer Ihr Projekt und das Dataset und wählen Sie dann die Tabelle aus.

4. Prüfen Sie im Bereich Details im Abschnitt Labels, ob das Label metadata-managed-mode auf user_managed festgelegt ist. Wenn die Einstellung auf user_managed festgelegt ist, gehen Sie so vor:

   1. Klicken Sie auf Details bearbeiten edit.

   2. Geben Sie neben dem Schlüssel metadata-managed-mode im Feld value den Wert discovery-managed ein.

5. Klicken Sie auf Ausführen. Der Discovery-Scan wird bei Bedarf ausgeführt.

Nachdem der Discovery-Scan ausgeführt wurde, wird die BigLake-Tabelle in BigQuery gelöscht und kann nicht mehr über Spark aufgelistet oder abgefragt werden.

Erkennungsscan on demand ausführen

Wählen Sie eine der folgenden Optionen aus, um einen Discovery-Scan auf Anfrage auszuführen.

gcloud dataplex datascans run DATASCAN \
  --location=LOCATION

Erkennungsscans auflisten

Wählen Sie eine der folgenden Optionen aus, um Ihre Discovery-Scans aufzulisten.

gcloud dataplex datascans list --location=LOCATION --project=PROJECT_ID

Erkennungsscan ansehen

Wählen Sie eine der folgenden Optionen aus, um einen Discovery-Scan anzusehen.

gcloud dataplex datascans jobs describe JOB \
    --location=LOCATION \
    --datascan=DATASCAN \
    --view=FULL

Frühere Ergebnisse von Erkennungsscans ansehen

Wählen Sie eine der folgenden Optionen aus, um historische Ergebnisse von Discovery-Scans aufzurufen.

gcloud dataplex datascans jobs list \
    --location=LOCATION \
    --datascan=DATASCAN

Erkennungsscan aktualisieren

Wenn Sie den Zeitplan eines Erkennungsscans ändern möchten, z. B. von On-Demand zu wiederkehrend, aktualisieren Sie den Erkennungsscan.

gcloud dataplex datascans update data-discovery SCAN_ID --location=LOCATION --description=DESCRIPTION

Erkennungsscan löschen

Wählen Sie eine der folgenden Optionen aus, um einen Discovery-Scan zu löschen.

gcloud dataplex datascans delete SCAN_ID --location=LOCATION --async