Mit Sammlungen den Überblick behalten
Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.
Schutz sensibler Daten zum Scannen von BigQuery-Daten verwenden
Um sicherzustellen, dass Ihre vertraulichen Daten gut gesichert und verwaltet werden, sollten Sie zuallererst ihren Speicherort kennen. Damit lässt sich möglicherweise das Risiko verringern, dass sensible Daten wie Kreditkartennummern, Gesundheitsdaten, Sozialversicherungsnummern, Führerscheinnummern, Adressen, vollständige Namen und Unternehmensgeheimnisse preisgegeben werden. Regelmäßige Scans Ihrer Daten können auch dazu beitragen, Complianceanforderungen zu erfüllen und dafür zu sorgen, dass auch bei steigenden Datenmengen und nach Nutzungsänderungen weiterhin Best Practices befolgt werden. Mit Compliance-Schutz können Sie Ihre BigQuery-Tabellen prüfen, sensible Daten schützen und die Complianceanforderungen erfüllen.
Es gibt zwei Möglichkeiten, Ihre BigQuery-Daten zu scannen:
Profilerstellung für sensible Daten. Der Schutz sensibler Daten kann Profile für BigQuery-Daten generieren, die organisations-, ordner- oder projektübergreifend sind. Datenprofile enthalten Messwerte und Metadaten zu Ihren Tabellen und können ermitteln, wo sich sensible und risikoreiche Daten befinden. Der Schutz sensibler Daten meldet diese Messwerte auf Projekt-, Tabellen- und Spaltenebene. Weitere Informationen finden Sie unter Datenprofile für BigQuery-Daten.
On-Demand-Prüfung Der Schutz sensibler Daten kann eine detaillierte Prüfung einer einzelnen Tabelle oder einer Teilmenge von Spalten bis auf Zellebene durchführen und die Ergebnisse melden. Diese Art der Prüfungkann Ihnen helfen, einzelne Instanzen bestimmter Datentypen zu identifizieren, z. B. die genaue Position einer Kreditkartennummer in einer Tabellenzelle. Sie können eine On-Demand-Prüfung über die „Schutz sensibler Daten“ Seite in der Google Cloud Console, die BigQuery Seite in der Google Cloud Console oder programmatisch über die DLP API machen.
Auf dieser Seite wird beschrieben, wie Sie in der Google Cloud Console eine On-Demand-Prüfung über die Seite BigQuery machen.
Der Schutz sensibler Daten ist ein vollständig verwalteter Dienst, mit dem Google Cloud-Kunden sensible Daten in großem Umfang identifizieren und schützen können. Der Schutz sensibler Daten enthält mehr als 150 vordefinierte Detektoren für die Erkennung von Mustern, Formaten und Prüfsummen.
Der Schutz sensibler Daten bietet eine Reihe von Tools zur De-Identifikation Ihrer Daten, u. a. durch Maskierung, Tokenisierung, Pseudonymisierung, Datumsverschiebung und weitere, ohne dass Kundendaten repliziert werden müssen.
Weitere Informationen zum Schutz sensibler Daten finden Sie in der Dokumentation zum Schutz sensibler Daten.
Stellen Sie sicher, dass der Nutzer, der Ihre Jobs zum Schutz sensibler Daten erstellt, über eine geeignete vordefinierte IAM-Rolle zum Schutz sensibler Daten oder ausreichende Berechtigungen zur Ausführung von Jobs zum Schutz sensibler Daten verfügt.
BigQuery-Daten mit der Google Cloud Console scannen
Zum Scannen von BigQuery-Daten erstellen Sie einen Job zum Schutz sensibler Daten, der eine Tabelle analysiert. Sie können eine BigQuery-Tabelle in der BigQuery Google Cloud Console schnell scannen, wenn Sie die Option Mit Schutz sensibler Daten scannen verwenden.
So scannen Sie eine BigQuery-Tabelle mit dem Schutz sensibler Daten:
Rufen Sie in der Google Cloud Console die Seite „BigQuery“ auf.
Maximieren Sie im Bereich Explorer Ihr Projekt und das Dataset und wählen Sie dann die Tabelle aus.
Klicken Sie auf Exportieren > Mit Schutz sensibler Daten scannen. Die Seite zum Erstellen von Jobs zum Schutz sensibler Daten wird in einem neuen Tab geöffnet.
Geben Sie für Schritt 1: Eingabedaten auswählen eine Job-ID ein. Die Werte im Abschnitt Standort werden automatisch generiert. Außerdem ist der Abschnitt Probenahme automatisch so konfiguriert, dass ein Beispielscan für Ihre Daten ausgeführt wird. Sie können die Einstellungen jedoch nach Bedarf anpassen.
Klicken Sie auf Weiter.
Optional: In Schritt 2: Erkennung konfigurieren können Sie festlegen, nach welchen Datentypen (infoTypes) gesucht werden soll.
Führen Sie einen der folgenden Schritte aus:
Klicken Sie auf infoTypes verwalten, um aus der Liste der vordefinierten infoTypes auszuwählen. Wählen Sie dann die infoTypes aus, nach denen Sie suchen möchten.
Geben Sie im Feld Vorlagenname den vollständigen Ressourcennamen der Vorlage ein, um eine vorhandene Inspektionsvorlage zu verwenden.
Weitere Informationen zu infoTypes finden Sie unter InfoTypes und InfoType-Detektoren in der Dokumentation zum Schutz sensibler Daten.
Klicken Sie auf Weiter.
Optional: Für Schritt 3: Aktionen hinzufügen aktivieren Sie In BigQuery speichern, um Ihre Ergebnisse zum Schutz sensibler Daten in einer BigQuery-Tabelle zu veröffentlichen. Wenn Sie keine Ergebnisse speichern, enthält der abgeschlossene Job nur Statistiken zur Anzahl der Ergebnisse und deren infoTypes. Durch das Speichern der Ergebnisse in BigQuery werden Details zum genauen Ort und zur Zuverlässigkeit jedes einzelnen Ergebnisses gespeichert.
Optional: Wenn Sie In BigQuery speichern aktiviert haben, geben Sie im Bereich In BigQuery speichern die folgenden Informationen ein:
Projekt-ID: die Projekt-ID, unter der die Ergebnisse gespeichert werden.
Dataset-ID: der Name des Datasets, in dem die Ergebnisse gespeichert werden.
Optional: Tabellen-ID: der Name der Tabelle, in der die Ergebnisse gespeichert werden. Wenn Sie keine Tabellen-ID angeben, wird neuen Tabellen ein Standardname etwa in der Form dlp_googleapis_date_1234567890 zugewiesen.
Wenn Sie eine vorhandene Tabelle angeben, werden die Ergebnisse daran angehängt.
Wenn Sie den erkannten Inhalt einschließen möchten, aktivieren Sie Kontext einschließen.
Klicken Sie auf Weiter.
Optional: Konfigurieren Sie für Schritt 4: Zeitplan eine Zeitspanne oder einen Plan, indem Sie entweder Zeitspanne angeben oder Trigger zum Ausführen des Jobs nach einem regelmäßigen Zeitplan erstellen auswählen.
Klicken Sie auf Weiter.
Optional: Untersuchen Sie auf der Seite Überprüfen die Details Ihres Jobs. Passen Sie bei Bedarf die vorherigen Einstellungen an.
Klicken Sie auf Erstellen.
Nach Abschluss des Jobs zum Schutz sensibler Daten werden Sie zur Seite mit den Jobdetails weitergeleitet und per E-Mail benachrichtigt. Sie können die Ergebnisse des Scans auf der Seite für Jobdetails einsehen oder auf den Link zur Seite „Schutz sensibler Daten“ für Jobdetails in der E-Mail zum Jobabschluss klicken.
Wenn Sie Ergebnisse zum Schutz sensibler Daten in BigQuery veröffentlichen möchten, klicken Sie auf der Seite Jobdetails auf die Option Ergebnisse in BigQuery abrufen, um die Tabelle in der Google Cloud Console zu öffnen. Anschließend können Sie die Tabelle abfragen und Ihre Ergebnisse analysieren. Weitere Informationen zum Abfragen Ihrer Ergebnisse in BigQuery finden Sie unter Ergebnisse zum Schutz sensibler Daten in BigQuery abfragen in der Dokumentation „Schutz sensibler Daten“.
Wenn Sie die vom Schutz sensibler Daten-Scan ermittelten vertraulichen Daten entfernen oder de-identifizieren möchten, finden Sie unter den folgenden Themen entsprechende Informationen:
[[["Leicht verständlich","easyToUnderstand","thumb-up"],["Mein Problem wurde gelöst","solvedMyProblem","thumb-up"],["Sonstiges","otherUp","thumb-up"]],[["Schwer verständlich","hardToUnderstand","thumb-down"],["Informationen oder Beispielcode falsch","incorrectInformationOrSampleCode","thumb-down"],["Benötigte Informationen/Beispiele nicht gefunden","missingTheInformationSamplesINeed","thumb-down"],["Problem mit der Übersetzung","translationIssue","thumb-down"],["Sonstiges","otherDown","thumb-down"]],["Zuletzt aktualisiert: 2024-12-22 (UTC)."],[[["\u003cp\u003eSensitive Data Protection can scan BigQuery data to identify sensitive information, including credit card numbers, medical details, and other personal data, helping ensure its proper security and management.\u003c/p\u003e\n"],["\u003cp\u003eThere are two primary methods for scanning BigQuery data: sensitive data profiling, which provides an overview of data sensitivity across an organization, and on-demand inspection, which offers deep analysis of specific tables or columns down to the cell level.\u003c/p\u003e\n"],["\u003cp\u003eOn-demand inspections can be initiated from the BigQuery page in the Google Cloud console, allowing users to quickly analyze a table for sensitive data and configure what data types to look for.\u003c/p\u003e\n"],["\u003cp\u003eAfter completing a scan, Sensitive Data Protection can save the findings to a BigQuery table, including precise locations and confidence levels of sensitive data, providing detailed insights for further analysis or action.\u003c/p\u003e\n"],["\u003cp\u003eThe DLP API is required to be enabled, and users running Sensitive Data Protection jobs need appropriate IAM roles or permissions.\u003c/p\u003e\n"]]],[],null,["# Using Sensitive Data Protection to scan BigQuery data\n=====================================================\n\nKnowing where your sensitive data exists is often the first step in ensuring\nthat it is properly secured and managed. This knowledge can help reduce the risk\nof exposing sensitive details such as credit card numbers, medical information,\nSocial Security numbers, driver's license numbers, addresses, full names, and\ncompany-specific secrets. Periodic scanning of your data can also help with\ncompliance requirements and ensure best practices are followed as your data\ngrows and changes with use. To help meet compliance requirements, use\nSensitive Data Protection to inspect your BigQuery tables and\nto help protect your sensitive data.\n\nThere are two ways to scan your BigQuery data:\n\n- **Sensitive data profiling.** Sensitive Data Protection can generate profiles about\n BigQuery data across an organization, folder, or project. *Data\n profiles* contain metrics and metadata about your tables and help you\n determine where [sensitive and high-risk\n data](/sensitive-data-protection/docs/sensitivity-risk-calculation) reside. Sensitive Data Protection\n reports these metrics at the project, table, and column levels. For more\n information, see [Data profiles for\n BigQuery data](/sensitive-data-protection/docs/data-profiles).\n\n- **On-demand inspection.** Sensitive Data Protection can perform a deep inspection on\n a single table or a subset of columns and report its findings down to the cell\n level. This kind of inspection can help you identify individual instances of\n specific data [types](/sensitive-data-protection/docs/infotypes-reference), such as the precise\n location of a credit card number inside a table cell. You can do an on-demand\n inspection through the Sensitive Data Protection page in the\n Google Cloud console, the **BigQuery** page in the Google Cloud console,\n or programmatically through the DLP API.\n\nThis page describes how to do an on-demand inspection through the\n**BigQuery** page in the Google Cloud console.\n\nSensitive Data Protection is a fully managed service that lets Google Cloud customers\nidentify and protect sensitive data at scale. Sensitive Data Protection uses more\nthan 150 predefined detectors to identify patterns, formats, and checksums.\nSensitive Data Protection also provides a set of tools to de-identify your data\nincluding masking, tokenization, pseudonymization, date shifting, and more, all\nwithout replicating customer data.\n\nTo learn more about Sensitive Data Protection, see the [Sensitive Data Protection](/sensitive-data-protection/docs)\ndocumentation.\n\nBefore you begin\n----------------\n\n1. Get familiar with [Sensitive Data Protection pricing](/sensitive-data-protection/pricing) and [how to keep Sensitive Data Protection costs under control](/sensitive-data-protection/docs/best-practices-costs).\n2. [Enable the DLP API](/apis/docs/enable-disable-apis).\n\n [Enable the API](https://console.cloud.google.com/flows/enableapi?apiid=dlp.googleapis.com)\n3. Ensure that the user creating your Sensitive Data Protection jobs is granted an\n appropriate predefined Sensitive Data Protection [IAM role](/sensitive-data-protection/docs/iam-roles) or\n sufficient [permissions](/sensitive-data-protection/docs/iam-permissions) to run Sensitive Data Protection\n jobs.\n\n| **Note:** When you enable the DLP API, a service account is created with a name similar to `service-`\u003cvar translate=\"no\"\u003eproject_number\u003c/var\u003e`@dlp-api.iam.gserviceaccount.com`. This service account is granted the DLP API Service Agent role, which lets the service account authenticate with the BigQuery API. For more information, see [Service account](/sensitive-data-protection/docs/iam-permissions#service_account) on the Sensitive Data Protection IAM permissions page.\n\nScanning BigQuery data using the Google Cloud console\n-----------------------------------------------------\n\nTo scan BigQuery data, you create a Sensitive Data Protection job\nthat analyzes a table. You can scan a BigQuery table quickly by using\nthe **Scan with Sensitive Data Protection** option in the BigQuery Google Cloud console.\n\nTo scan a BigQuery table using Sensitive Data Protection:\n\n1. In the Google Cloud console, go to the BigQuery page.\n\n [Go to BigQuery](https://console.cloud.google.com/bigquery)\n2. In the **Explorer** panel, expand your project and dataset, then select\n the table.\n\n3. Click **Export \\\u003e Scan with Sensitive Data Protection**. The Sensitive Data Protection job\n creation page opens in a new tab.\n\n4. For **Step 1: Choose input data** , enter a job ID. The values in the\n **Location** section are automatically generated. Also, the **Sampling**\n section is automatically configured to run a sample scan against your data, but\n you can adjust the settings as needed.\n\n5. Click **Continue**.\n\n6. Optional: For **Step 2: Configure detection** , you can configure what types\n of data to look for, called `infoTypes`.\n\n Do one of the following:\n - To select from the list of predefined `infoTypes`, click **Manage\n infoTypes**. Then, select the infoTypes you want to search for.\n - To use an existing [inspection template](/sensitive-data-protection/docs/creating-templates-inspect), in the **Template name** field, enter the template's full resource name.\n\n For more information on `infoTypes`, see\n [InfoTypes and infoType detectors](/sensitive-data-protection/docs/concepts-infotypes) in the\n Sensitive Data Protection documentation.\n7. Click **Continue**.\n\n8. Optional: For **Step 3: Add actions** , turn on **Save to BigQuery**\n to publish your Sensitive Data Protection findings to a BigQuery\n table. If you don't store findings, the completed job contains only\n statistics about the number of findings and their `infoTypes`. Saving\n findings to BigQuery saves details about the precise location and\n confidence of each individual finding.\n\n9. Optional: If you turned on **Save to BigQuery** , in the **Save to\n BigQuery** section, enter the following information:\n\n - **Project ID**: the project ID where your results are stored.\n - **Dataset ID**: the name of the dataset that stores your results.\n - Optional: **Table ID** : the name of the table that stores your results. If no table ID is specified, a default name is assigned to a new table similar to the following: `dlp_googleapis_`\u003cvar translate=\"no\"\u003edate\u003c/var\u003e`_1234567890`. If you specify an existing table, findings are appended to it.\n\n To include the actual content that was detected, turn on **Include quote**.\n10. Click **Continue**.\n\n11. Optional: For **Step 4: Schedule** , configure a time span or schedule by\n selecting either **Specify time span** or **Create a trigger to run the job\n on a periodic schedule**.\n\n12. Click **Continue**.\n\n13. Optional: On the **Review** page, examine the details of your job. If needed,\n adjust the previous settings.\n\n14. Click **Create**.\n\n15. After the Sensitive Data Protection job completes, you are redirected to the job\n details page, and you're notified by email. You can view the results of the\n scan on the job details page, or you can click the link to\n the Sensitive Data Protection job details page in the job completion email.\n\n16. If you chose to publish Sensitive Data Protection findings to\n BigQuery, on the **Job details** page, click **View Findings in\n BigQuery** to open the table in the Google Cloud console. You can then query the\n table and analyze your findings. For more information on querying your results\n in BigQuery, see\n [Querying Sensitive Data Protection findings in BigQuery](/sensitive-data-protection/docs/querying-findings)\n in the Sensitive Data Protection documentation.\n\nWhat's next\n-----------\n\n- Learn more about [inspecting BigQuery and other storage\n repositories for sensitive data using Sensitive Data Protection](/sensitive-data-protection/docs/inspecting-storage).\n\n- Learn more about [profiling data in an organization, folder, or\n project](/sensitive-data-protection/docs/data-profiles).\n\n- Read the Identity \\& Security blog post [Take charge of your data: using\n Sensitive Data Protection to de-identify and obfuscate sensitive\n information](https://cloud.google.com/blog/products/identity-security/taking-charge-of-your-data-using-cloud-dlp-to-de-identify-and-obfuscate-sensitive-information).\n\nIf you want to redact or otherwise de-identify the sensitive data that the\nSensitive Data Protection scan found, see the following:\n\n- [Inspect text to de-identify sensitive information](/sensitive-data-protection/docs/inspect-sensitive-text-de-identify)\n- [De-identifying sensitive data](/sensitive-data-protection/docs/deidentify-sensitive-data) in the Sensitive Data Protection documentation\n- [AEAD encryption concepts in GoogleSQL](/bigquery/docs/aead-encryption-concepts) for information on encrypting individual values within a table\n- [Protecting data with Cloud KMS keys](/bigquery/docs/customer-managed-encryption) for information on creating and managing your own encryption keys in [Cloud KMS](/kms/docs) to encrypt BigQuery tables"]]
