Dataplex Universal Catalog-Aspekte basierend auf Erkenntnissen aus Datenprofilen hinzufügen

Auf dieser Seite wird beschrieben, wie Sie Ihren Daten automatisch Dataplex Universal Catalog-Aspekte hinzufügen, nachdem Sensitive Data Protection Ihre Ressourcen profiliert hat. Auf dieser Seite finden Sie auch Beispielabfragen, mit denen Sie Daten in Ihrer Organisation und in Ihren Projekten mit bestimmten Aspektwerten finden können.

Diese Funktion ist nützlich, wenn Sie Ihre Metadaten in Dataplex Universal Catalog mit Informationen aus Datenprofilen für den Schutz sensibler Daten anreichern möchten. Die generierten Aspekte enthalten die folgenden Statistiken:

• Berechnete Vertraulichkeitsstufe der Tabelle oder des Datasets
• Berechnete Datenrisikostufe der Tabelle oder des Datasets
• Informationstypen (infoTypes), die in der Tabelle oder im Dataset erkannt wurden

Mithilfe von Statistiken aus Datenprofilen zum Schutz sensibler Daten können Sie mit Dataplex Universal Catalog sensible und risikoreiche Daten in Ihrer Organisation ermitteln. Anhand dieser Statistiken können Sie fundierte Entscheidungen darüber treffen, wie Sie Ihre Daten verwalten und kontrollieren.

Datenprofile

Sie können den Schutz sensibler Daten so konfigurieren, dass automatisch Profile für Daten in einer Organisation, einem Ordner oder einem Projekt generiert werden. Datenprofile enthalten Messwerte und Metadaten zu Ihren Daten und können ermitteln, wo sich sensible und risikoreiche Daten befinden. Der Schutz sensibler Daten meldet diese Messwerte auf verschiedenen Detailebenen.

Sie können Datenprofile an andere Google Cloud Dienste wie Dataplex Universal Catalog, Pub/Sub, Security Command Center und Google Security Operations senden, um Ihre Workflows für Datenverwaltung, Benachrichtigungen und Sicherheit zu optimieren.

Dataplex Universal Catalog

Dataplex Universal Catalog bietet einen einheitlichen Bestand von Google Cloud Ressourcen.

Mit Dataplex Universal Catalog können Sie Aspekte verwenden, um Ihren Daten Geschäfts- und technische Metadaten hinzuzufügen und so Kontext und Wissen zu Ihren Ressourcen zu erfassen. Anschließend können Sie organisationsweit nach Daten suchen und diese ermitteln und Data Governance für Ihre Daten-Assets aktivieren. Weitere Informationen finden Sie unter Aspekte.

Unterstützte Ressourcen

Sensitive Data Protection kann automatisch Aspekte an Dataplex Universal Catalog-Einträge für die folgenden Ressourcen anhängen:

• BigQuery-Tabellen

• Cloud SQL-Tabellen

• Aus BigQuery-Tabellen erstellte Vertex AI-Datasets

In Dataplex Universal Catalog werden keine Cloud Storage-Buckets aufgenommen. Diese Funktion ist daher nicht verfügbar, wenn Sie Cloud Storage-Daten profilieren.

Funktionsweise

Der allgemeine Workflow zum automatischen Erstellen von Dataplex Universal Catalog-Aspekten auf Grundlage von Datenprofilen ist wie folgt:

1. Erstellen oder Bearbeiten Sie eine Scankonfiguration für einen unterstützten Ressourcentyp.

2. Achten Sie im Schritt Aktionen hinzufügen darauf, dass die Aktion Als Aspekte an Dataplex Catalog senden aktiviert ist.

   Wenn Sie eine Scan-Konfiguration erstellen, ist diese Aktion standardmäßig aktiviert.

   Wenn Sie eine Scankonfiguration bearbeiten, aktivieren Sie diese Aktion.

Sensitive Data Protection fügt den Sensitive Data Protection profile-Aspekt des Dataplex Universal Catalog-Eintrags für jede unterstützte Ressource hinzu oder aktualisiert ihn, die Sie profilieren. Anschließend können Sie im Dataplex Universal Catalog nach allen Daten in Ihrer Organisation oder Ihrem Projekt mit bestimmten Aspektwerten suchen.

Wenn Sie die Aktion Als Aspekte an Dataplex Catalog senden aktivieren, wendet Sensitive Data Protection diese Aktion nur auf neue und aktualisierte Profile an. Vorhandene Profile, die nicht aktualisiert werden, werden nicht an Dataplex Universal Catalog gesendet.

Felder der obersten Ebene

Das resultierende Attribut für eine profilierte Tabelle kann die folgenden Felder der obersten Ebene haben:

Wenn für die Ressource sowohl auf Projekt- als auch auf Organisations- oder Ordnerebene ein Profil erstellt wurde, werden die Werte beider Profile von Sensitive Data Protection zusammengefasst. Der Aspekt bietet eine Vereinigung der erkannten infoTypes und verwendet die höchsten Sensibilitäts- und Datenrisikobewertungen aus beiden Profilen.

Angenommen, im Profil auf Projektebene wird die Vertraulichkeit der Ressource als MODERATE und im Profil auf Organisationsebene als LOW eingestuft. In diesem Fall ist der Wert im Sensitivity-Feld der obersten Ebene des Aspekts MODERATE.

Felder für Projekt- und Organisationsprofile

Der resultierende Aspekt Sensitive Data Protection profile enthält je nach Profilierungsebene der Ressource eines oder beide der folgenden Felder der obersten Ebene:

Project Profile

Im Aspekt enthalten, wenn die Ressource über eine Scankonfiguration auf Projektebene profiliert wurde

Organization Profile

Im Aspekt enthalten, wenn für die Ressource ein Profil über eine Scankonfiguration auf Organisations- oder Ordnerebene erstellt wurde

Wenn die Ressource sowohl auf Projekt- als auch auf Organisations- oder Ordnerebene profiliert wurde, enthält der resultierende Aspekt sowohl die Felder Project Profile als auch Organization Profile.

Jedes Project Profile- oder Organization Profile-Feld enthält verschachtelte Sensitivity- und Risk-Felder mit den im Datenprofil aufgeführten Werten. Wenn das Datenprofil vorhergesagte infoTypes und andere infoTypes enthält, sind diese auch als verschachtelte Felder vom Typ Column InfoTypes und InfoTypes verfügbar. Außerdem enthält jedes Feld Project Profile oder Organization Profile die folgenden verschachtelten Felder:

Profile

Der vollständige Ressourcenname des Datenprofils. Beispiele:

• Profil auf Projektebene: projects/PROJECT_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
• Profil auf Organisations- oder Ordnerebene: organizations/ORGANIZATION_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID

Profile Link

Ein Link zum Profil in der Google Cloud Console. Beispiele:

• Profil auf Projektebene: https://console.cloud.google.com/security/sensitive-data-protection/projects/PROJECT_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
• Profil auf Organisations- oder Ordnerebene: https://console.cloud.google.com/security/sensitive-data-protection/organizations/ORGANIZATION_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID

Dataplex API aktivieren

Die Dataplex API muss in jedem Projekt aktiviert sein, das Ressourcen enthält, denen Sie Aspekte hinzufügen möchten. In diesem Abschnitt wird beschrieben, wie Sie die Dataplex API in einem einzelnen Projekt oder in allen Projekten einer Organisation oder eines Ordners aktivieren.

Dataplex API in einem einzelnen Projekt aktivieren

1. Wählen Sie das Projekt aus, in dem Sie die Dataplex API aktivieren möchten.

   Zur Projektauswahl

2. Enable the Dataplex API.

   Enable the API

Dataplex API in allen Projekten einer Organisation oder eines Ordners aktivieren

In diesem Abschnitt finden Sie ein Script, mit dem alle Projekte in einer Organisation oder einem Ordner gesucht und die Dataplex API in jedem dieser Projekte aktiviert wird.

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Aktivieren der Dataplex API in allen Projekten in einer Organisation oder einem Ordner benötigen:

• Betrachter von Cloud-Assets (roles/cloudasset.viewer) für die Organisation oder den Ordner
• DLP-Nutzer (roles/dlp.user) für jedes Projekt, in dem Sie die Dataplex API aktivieren möchten

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Aktivieren der Dataplex API in allen Projekten in einer Organisation oder einem Ordner erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

So aktivieren Sie die Dataplex API in allen Projekten in einer Organisation oder einem Ordner:

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Führen Sie das folgende Skript aus:

   #!/bin/bash
   
   RESOURCE_ID="RESOURCE_ID"
   
   gcloud asset search-all-resources \
       --scope="RESOURCE_TYPE/$RESOURCE_ID" \
       --asset-types="cloudresourcemanager.googleapis.com/Project" \
       --format="value(name)" |
       while read project_name; do
         project_id=$(echo "$project_name" | sed 's|.*/||')
         gcloud services enable "dataplex.googleapis.com" --project="$project_id"
       done
   

   Ersetzen Sie Folgendes:

   • RESOURCE_ID: die Organisationsnummer oder Ordnernummer der Ressource, die die Projekte enthält
   • RESOURCE_TYPE: Der Typ der Ressource, die die Projekte enthält: organizations oder folders

Rollen und Berechtigungen zum Aufrufen von Aspekten

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für die Ressourcen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Suchen nach Aspekten benötigen, die mit Ihren Ressourcen verknüpft sind:

• Dataplex Catalog-Betrachter (roles/dataplex.catalogViewer)
• BigQuery Data Viewer (roles/bigquery.dataViewer)
• Vertex AI-Betrachter (roles/aiplatform.viewer)

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Suchen nach Aspekten erforderlich sind, die mit Ihren Ressourcen verknüpft sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um nach Aspekten zu suchen, die mit Ihren Ressourcen verknüpft sind:

• Dataplex Universal Catalog-Einträge ansehen:
  • dataplex.entries.list
  • dataplex.entries.get
• BigQuery-Datasets und -Tabellen ansehen:
  • bigquery.datasets.get
  • bigquery.tables.get
• Vertex AI-Datasets ansehen: aiplatform.datasets.get

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zu den Berechtigungen, die für die Verwendung von Dataplex Universal Catalog erforderlich sind, finden Sie unter Dataplex Universal Catalog-IAM-Berechtigungen.

Generierten Aspekt für ein bestimmtes Tabellendatenprofil finden

1. Rufen Sie in der Google Cloud Console die Seite Suche des Dataplex Universal Catalog auf.

   Zur Suche

2. Wählen Sie Ihre Organisation oder das Projekt aus.

3. Wählen Sie unter Suchplattform auswählen den Suchmodus Dataplex Catalog aus.

4. Geben Sie im Feld Suchen Folgendes ein:

   name:TABLE_ID
   

   Ersetzen Sie TABLE_ID durch die ID der Tabelle, für die ein Profil erstellt wurde.

5. Klicken Sie in der angezeigten Liste auf den Tabellennamen. Die Details der BigQuery-Tabelle werden angezeigt. Alle damit verknüpften Sensitive Data Protection profile-Aspekte werden im Bereich Optionale Tags und Aspekte angezeigt.

Weitere Informationen zum Suchen nach Ressourcen finden Sie unter Nach Ressourcen im Dataplex Universal Catalog suchen.

Beispiele für Suchanfragen

In diesem Abschnitt finden Sie Beispielsuchanfragen, mit denen Sie in Dataplex Universal Catalog nach Daten in Ihrer Organisation oder Ihrem Projekt mit bestimmten Aspektwerten suchen können.

Sie können nur auf Daten zugreifen, für die Sie die entsprechenden Berechtigungen haben. Der Datenzugriff wird über IAM-Berechtigungen gesteuert. Weitere Informationen finden Sie auf dieser Seite unter Rollen und Berechtigungen zum Ansehen von Aspekten.

Sie können diese Beispielabfragen in das Feld Suche auf der Seite Suche von Dataplex Universal Catalog eingeben.

Zur Suche

Informationen zum Erstellen der Abfragen finden Sie unter Suchsyntax für Dataplex Universal Catalog.

Alle Ressourcen mit dem Profilaspekt „Sensitive Data Protection“ finden

aspect:sensitive-data-protection-profile

Alle Ressourcen mit einem bestimmten Vertraulichkeitswert finden

aspect:sensitive-data-protection-profile.sensitivity=SENSITIVITY_SCORE

Ersetzen Sie SENSITIVITY_SCORE durch HIGH, MODERATE, UNKNOWN oder LOW.

Weitere Informationen finden Sie unter Vertraulichkeits- und Datenrisikostufen.

Alle Ressourcen mit einem bestimmten Risikowert finden

aspect:sensitive-data-protection-profile.risk=DATA_RISK_LEVEL

Ersetzen Sie DATA_RISK_LEVEL durch HIGH, MODERATE, UNKNOWN oder LOW.

Weitere Informationen finden Sie unter Vertraulichkeits- und Datenrisikostufen.

Alle Ressourcen mit einem Profil auf Projektebene suchen

aspect:sensitive-data-protection-profile.projectProfile

Alle Ressourcen mit einem Profil auf Organisationsebene finden

aspect:sensitive-data-protection-profile.organizationProfile