Tabellen in Data Catalog anhand von Informationen aus Datenprofilen taggen

Auf dieser Seite wird beschrieben, wie Sie Data Catalog-Tags automatisch auf BigQuery-Tabellen anwenden, nachdem der Schutz sensibler Daten diese Tabellen profiliert hat. Auf dieser Seite finden Sie auch Beispielabfragen, mit denen Sie getaggte Daten in Ihrer Organisation und Ihren Projekten finden können.

Diese Funktion ist nützlich, wenn Sie Ihre manuell zusammengestellten Metadaten in Dataplex Universal Catalog mit Informationen aus Datenprofilen für den Schutz sensibler Daten anreichern möchten. Die generierten Tags enthalten die folgenden Informationen:

  • In den Spalten der Tabelle erkannte Informationstypen (infoTypes)
  • Berechnete Vertraulichkeitsstufe der Tabelle
  • Berechnete Datenrisikostufe der Tabelle

Mithilfe von Statistiken aus Datenprofilen zum Schutz sensibler Daten können Sie mit Dataplex Universal Catalog sensible und risikoreiche Daten in Ihrer Organisation ermitteln. Anhand dieser Statistiken können Sie fundierte Entscheidungen darüber treffen, wie Sie Ihre Daten verwalten und kontrollieren.

Wenn Sie die Ergebnisse von Inspektionsjobs (nicht von Datenprofilierungsvorgängen) an Dataplex Universal Catalog senden möchten, lesen Sie stattdessen Ergebnisse von Sensitive Data Protection-Inspektionsjobs an Data Catalog senden.

Datenprofile

Sie können den Schutz sensibler Daten so konfigurieren, dass automatisch Profile für Daten in einer Organisation, einem Ordner oder einem Projekt generiert werden. Datenprofile enthalten Messwerte und Metadaten zu Ihren Daten und können ermitteln, wo sich sensible und risikoreiche Daten befinden. Der Schutz sensibler Daten meldet diese Messwerte auf verschiedenen Detailebenen. Informationen zu den Datentypen, die Sie analysieren können, finden Sie unter Unterstützte Ressourcen.

Dataplex Universal Catalog und Data Catalog

Dataplex Universal Catalog ist ein Google Cloud Dienst, der verteilte Daten vereinheitlicht und die Datenverwaltung und Governance für diese Daten automatisiert. Data Catalog (eingestellt) ist ein vollständig verwalteter, skalierbarer Dienst zur Metadatenverwaltung.

Mit Data Catalog können Sie Tags und Tag-Vorlagen verwenden, um Ihren Daten Geschäftsmetadaten hinzuzufügen. Anschließend können Sie alle Metadaten für Ihre Organisation oder Ihr Projekt in einem einheitlichen Dienst suchen und verwalten. Weitere Informationen finden Sie unter Tags und Tag-Vorlagen.

Funktionsweise

Wenn in Ihrer Scankonfiguration für die Erkennung die Aktion Als Tags an Dataplex senden aktiviert ist, führt Sensitive Data Protection bei jedem Profiling Ihrer Daten die folgenden Schritte aus. Diese Aktion wird nur auf neue und aktualisierte Profile angewendet. Vorhandene Profile, die nicht aktualisiert werden, werden nicht an Dataplex Universal Catalog gesendet.

  1. Erstellt eine private Tag-Vorlage mit dem Schema der Tags, die an Ihre BigQuery-Tabellen angehängt werden. Informationen zu Name, ID und Speicherort der Tag-Vorlage finden Sie unter Details zur Tag-Vorlage.

    Nur Hauptkonten mit den entsprechenden Rollen und Berechtigungen können die Tag-Vorlage aufrufen.

  2. Für jede BigQuery-Tabelle, die Sie profilieren, wird ein Tag erstellt. Das Tag basiert auf der neu erstellten Tag-Vorlage.

    Ein resultierendes Tag, das an eine Tabelle angehängt wird, kann beispielsweise die folgenden Metadaten haben:

    Anzeigename Wert
    Column Insights ccn: CREDIT_CARD_NUMBER
    first_name: PERSON_NAME
    last_name: PERSON_NAME
    ssn: US_SOCIAL_SECURITY_NUMBER
    email: EMAIL_ADDRESS
    Column Sensitivity ccn: HIGH
    first_name: MODERATE
    last_name: MODERATE
    favorite_animal: LOW
    ssn: HIGH
    email: MODERATE
    id: LOW
    Data Risk Level HIGH
    Other InfoTypes PHONE_NUMBER
    Predicted InfoTypes CREDIT_CARD_NUMBER,US_SOCIAL_SECURITY_NUMBER,EMAIL_ADDRESS,PERSON_NAME
    Profile Last Generated DATE at TIME
    Sensitive Data Profile organizations/ORGANIZATION_ID/locations/REGION/tableDataProfiles/TABLE_DATA_PROFILE_ID
    Sensitivity Score HIGH

Eine Tabelle hat zwei Tags, wenn sie durch beide der folgenden Methoden profiliert wurde:

  • Eine Scankonfiguration auf Organisations- oder Ordnerebene
  • Eine Scankonfiguration auf Projektebene

Nachdem die Tabellen getaggt wurden, können Sie in Dataplex Universal Catalog nach allen Daten in Ihrer Organisation oder Ihrem Projekt mit bestimmten Tag-Werten suchen.

Details zu Tag-Vorlagen

Der Vorlagenname, die Vorlagen-ID und das Projekt, in dem die neue Tag-Vorlage gespeichert wird, hängen von der Ressource ab, auf die sich die Scankonfiguration bezieht.

  • Wenn die Scankonfiguration eine Konfiguration auf Organisations- oder Ordnerebene ist, wird die Tag-Vorlage im Dienstagent-Container gespeichert. Der Name der Tag-Vorlage ist Sensitive Data Profile. Die Vorlagen-ID lautet sensitive_data_profile.
  • Wenn die Scankonfiguration eine Konfiguration auf Projektebene ist, wird die Tag-Vorlage im zu profilierenden Projekt gespeichert. Der Name der Tag-Vorlage ist Sensitive Data Profile (Project). Die Vorlagen-ID lautet sensitive_data_profile_project.

Preise

Informationen dazu, wie andere Google Cloud Dienste Ihnen das Exportieren von Datenprofilen in Rechnung stellen, finden Sie unter Preise für den Export von Datenprofilen.

BigQuery-Tabellen automatisch anhand von Datenprofilen taggen

  1. Erstellen Sie eine Scankonfiguration. Alternativ können Sie eine vorhandene Scankonfiguration bearbeiten.

  2. Achten Sie im Schritt Aktionen hinzufügen darauf, dass Als Tags an Dataplex senden aktiviert ist.

    • Wenn Sie eine Scan-Konfiguration erstellen, ist diese Aktion standardmäßig aktiviert.
    • Wenn Sie eine Scankonfiguration bearbeiten, müssen Sie diese Aktion aktivieren.

Nachdem die Daten profiliert und getaggt wurden, können Sie im Dataplex Universal Catalog nach getaggten Daten suchen.

Rollen und Berechtigungen zum Ansehen von Tags

In den Suchergebnissen des Dataplex Universal Catalog werden nur die Daten angezeigt, auf die Sie Zugriff haben. Sie benötigen die folgenden IAM-Rollen (Identity and Access Management) oder -Berechtigungen, um nach den Tags zu suchen, die an Ihre BigQuery-Tabellen angehängt sind.

Zweck Vordefinierte Rolle Relevante Berechtigungen
Private Tag-Vorlage ansehen Data Catalog-Tag-Vorlagenbetrachter (roles/datacatalog.tagTemplateViewer) datacatalog.tagTemplates.getTag
Tags ansehen, die auf BigQuery-Tabellen angewendet wurden BigQuery Metadatenbetrachter (roles/bigquery.metadataViewer) bigquery.datasets.get
bigquery.tables.get

Weitere Informationen zu Dataplex Universal Catalog-Rollen finden Sie unter Rollen zum Ansehen öffentlicher und privater Tags.

Informationen zum Zuweisen einer vordefinierten Rolle finden Sie unter Einzelne Rolle zuweisen. Wenn Sie anstelle einer vordefinierten Rolle eine benutzerdefinierte Rolle verwenden möchten, muss diese die entsprechenden Berechtigungen haben. Weitere Informationen finden Sie unter Benutzerdefinierte Rolle erstellen.

Generierte Tag-Vorlage suchen

  1. Rufen Sie in der Google Cloud Console die Seite Tag-Vorlagen für Dataplex Universal Catalog auf.

    Zu Tag-Vorlagen

  2. Suchen Sie in der Liste nach der Tag-Vorlage. Informationen zu Name, ID und Speicherort der Tag-Vorlage finden Sie unter Details zur Tag-Vorlage.

  3. Optional: Wenn Sie die Tag-Vorlage finden möchten, die von einer bestimmten Konfiguration für die automatische Erkennung generiert wurde, geben Sie Folgendes in das Feld Filter ein:

    name:PROJECT_ID.TAG_TEMPLATE_ID

    Ersetzen Sie Folgendes:

    • PROJECT_ID: die ID des Projekts, das der Scankonfiguration zugeordnet ist. Wenn Sie ein Profil für Ihre Daten auf Organisations- oder Ordnerebene erstellt haben, geben Sie die Projekt-ID des Dienst-Agent-Containers ein.
    • TAG_TEMPLATE_ID: sensitive_data_profile, wenn die Scankonfiguration für eine Organisation oder einen Ordner gilt; sensitive_data_profile_project, wenn die Scankonfiguration für ein Projekt gilt.

Generiertes Tag für ein bestimmtes Tabellendatenprofil suchen

  1. Rufen Sie in der Google Cloud Console die Seite Suche des Dataplex Universal Catalog auf.

    Zur Suche

  2. Geben Sie im Feld Suchen Folgendes ein:

    name:TABLE_ID tag:PROJECT_ID.TAG_TEMPLATE_ID

    Ersetzen Sie Folgendes:

    • TABLE_ID: Die ID der Tabelle, für die ein Profil erstellt wurde.
    • PROJECT_ID: die ID des Projekts, das die Tag-Vorlage enthält. Wenn Sie ein Profil für Ihre Daten auf Organisations- oder Ordnerebene erstellt haben, geben Sie die Projekt-ID des Dienst-Agent-Containers ein.
    • TAG_TEMPLATE_ID: sensitive_data_profile, wenn die Scankonfiguration für eine Organisation oder einen Ordner gilt; sensitive_data_profile_project, wenn die Scankonfiguration für ein Projekt gilt.

  3. Klicken Sie in der angezeigten Liste auf die Tabellen-ID. Die Details der BigQuery-Tabelle werden zusammen mit allen Sensitive Data Profile- oder Sensitive Data Profile (Project)-Tags angezeigt, die ihr zugewiesen sind.

    Eine Tabelle hat zwei Tags, wenn sie durch beide der folgenden Methoden profiliert wurde:

    • Eine Scankonfiguration auf Organisations- oder Ordnerebene
    • Eine Scankonfiguration auf Projektebene

Informationen zum Durchführen einer Suche über die Data Catalog API finden Sie unter Nach Datenassets suchen.

Beispiele für Suchanfragen

In diesem Abschnitt finden Sie Beispiel-Suchanfragen, mit denen Sie in Dataplex Universal Catalog nach Daten in Ihrer Organisation oder Ihrem Projekt mit bestimmten Tag-Werten suchen können.

Sie können nur auf Daten zugreifen, für die Sie die entsprechenden Berechtigungen haben. Der Datenzugriff wird über IAM-Berechtigungen gesteuert. Weitere Informationen finden Sie auf dieser Seite unter Rollen und Berechtigungen zum Ansehen von Tags.

Sie können diese Abfragen in der Suche des Dataplex Universal Catalog in der Google Cloud Console eingeben.

Zur Suche

Informationen zum Erstellen der Abfragen finden Sie unter Data Catalog-Suchsyntax. Informationen zum Durchführen einer Suche über die Data Catalog API finden Sie unter Nach Daten-Assets suchen.

Alle Tabellen finden, die mit der neuen Tag-Vorlage getaggt sind

tag:PROJECT_ID.TAG_TEMPLATE_ID

Ersetzen Sie Folgendes:

  • PROJECT_ID: die ID des Projekts, das die Tag-Vorlage enthält. Wenn Sie ein Profil für Ihre Daten auf Organisations- oder Ordnerebene erstellt haben, geben Sie die Projekt-ID des Dienst-Agent-Containers ein.
  • TAG_TEMPLATE_ID: sensitive_data_profile, wenn die Scankonfiguration für eine Organisation oder einen Ordner gilt; sensitive_data_profile_project, wenn die Scankonfiguration für ein Projekt gilt.

In den folgenden Beispielen auf dieser Seite ist die Projekt-ID nicht enthalten. Daher erhalten Sie möglicherweise Ergebnisse, die verschiedenen Discovery-Scankonfigurationen zugeordnet sind. Wenn Sie die Ergebnisse auf eine bestimmte Scankonfiguration beschränken möchten, fügen Sie der Abfrage die Projekt-ID hinzu, wie in diesem Beispiel gezeigt.

Alle Tabellen finden, für die vor einem bestimmten Datum zuletzt Profile erstellt wurden

tag:TAG_TEMPLATE_ID.profile_last_generated<DATE

Ersetzen Sie Folgendes:

  • TAG_TEMPLATE_ID: sensitive_data_profile, wenn die Scankonfiguration für eine Organisation oder einen Ordner gilt; sensitive_data_profile_project, wenn die Scankonfiguration für ein Projekt gilt.
  • DATE: ein Datum im Format YYYY-MM-DD, z. B. 2023-01-15.

Alle Tabellen mit einer bestimmten Vertraulichkeitsbewertung auf Tabellenebene finden

tag:TAG_TEMPLATE_ID.sensitivity_score=SENSITIVITY_SCORE

Ersetzen Sie Folgendes:

  • TAG_TEMPLATE_ID: sensitive_data_profile, wenn die Scankonfiguration für eine Organisation oder einen Ordner gilt; sensitive_data_profile_project, wenn die Scankonfiguration für ein Projekt gilt.
  • SENSITIVITY_SCORE: Entweder HIGH, MODERATE oder LOW.

Weitere Informationen finden Sie unter Datenrisiko- und Vertraulichkeitsstufen.

Alle Tabellen mit einem bestimmten Datenrisikoniveau finden

tag:TAG_TEMPLATE_ID.data_risk_level=DATA_RISK_LEVEL

Ersetzen Sie Folgendes:

  • TAG_TEMPLATE_ID: sensitive_data_profile, wenn die Scankonfiguration für eine Organisation oder einen Ordner gilt; sensitive_data_profile_project, wenn die Scankonfiguration für ein Projekt gilt.
  • DATA_RISK_LEVEL: Entweder HIGH, MODERATE oder LOW.

Weitere Informationen finden Sie unter Datenrisiko- und Vertraulichkeitsstufen.

Alle Tabellen mit einem bestimmten vorhergesagten infoType finden

tag:TAG_TEMPLATE_ID.predicted_info_types:INFOTYPE

Ersetzen Sie Folgendes:

  • TAG_TEMPLATE_ID: sensitive_data_profile, wenn die Scankonfiguration für eine Organisation oder einen Ordner gilt; sensitive_data_profile_project, wenn die Scankonfiguration für ein Projekt gilt.
  • INFOTYPE: der infoType, z. B. PERSON_NAME.

Eine Liste aller integrierten infoTypes finden Sie in der InfoType-Detektorreferenz.

Weitere Informationen finden Sie unter Predicted infoType in der Messwertreferenz.

Alle Tabellen finden, die einen bestimmten infoType teilweise enthalten

tag:TAG_TEMPLATE_ID.other_info_types:INFOTYPE

Ersetzen Sie Folgendes:

  • TAG_TEMPLATE_ID: sensitive_data_profile, wenn die Scankonfiguration für eine Organisation oder einen Ordner gilt; sensitive_data_profile_project, wenn die Scankonfiguration für ein Projekt gilt.
  • INFOTYPE: der infoType, z. B. PERSON_NAME.

Eine Liste aller integrierten infoTypes finden Sie in der InfoType-Detektorreferenz.

Weitere Informationen finden Sie unter Other infoTypes in der Messwertreferenz.

Alle Tabellen mit einer bestimmten Spalte mit einem bestimmten vorhergesagten infoType finden

tag:TAG_TEMPLATE_ID.column_insights:COLUMN_NAME:INFOTYPE

Ersetzen Sie Folgendes:

  • TAG_TEMPLATE_ID: sensitive_data_profile, wenn die Scankonfiguration für eine Organisation oder einen Ordner gilt; sensitive_data_profile_project, wenn die Scankonfiguration für ein Projekt gilt.
  • COLUMN_NAME: Der Name der Spalte in der BigQuery-Tabelle.
  • INFOTYPE: der infoType, z. B. PERSON_NAME.

Eine Liste aller integrierten infoTypes finden Sie in der InfoType-Detektorreferenz.

Weitere Informationen finden Sie unter Predicted infoType in der Messwertreferenz.

Alle Tabellen finden, die eine bestimmte Spalte mit einem bestimmten Vertraulichkeitswert auf Spaltenebene enthalten

tag:TAG_TEMPLATE_ID.column_sensitivity:COLUMN_NAME:SENSITIVITY_SCORE

Ersetzen Sie Folgendes:

  • TAG_TEMPLATE_ID: sensitive_data_profile, wenn die Scankonfiguration für eine Organisation oder einen Ordner gilt; sensitive_data_profile_project, wenn die Scankonfiguration für ein Projekt gilt.
  • COLUMN_NAME: Der Name der Spalte in der BigQuery-Tabelle.
  • SENSITIVITY_SCORE: Entweder HIGH, MODERATE oder LOW.

Weitere Informationen finden Sie unter Datenrisiko- und Vertraulichkeitsstufen.

Abgeschnittene Tag-Werte

Wenn die Daten der Spaltenüberschrift einer BigQuery-Tabelle 10 MB überschreiten, wird im resultierenden Tag möglicherweise [TRUNCATED] im Feld Column Insights oder Column Sensitivity angezeigt. In diesem Fall empfehlen wir Ihnen, die Tabellendatenprofile und die zugehörigen Spaltendatenprofile im Bereich „Sensitive Data Protection“ (Schutz sensibler Daten) zu prüfen.