BigQuery-Daten zum Zeitpunkt der Abfrage de-identifizieren

Umgebung vorbereiten

1. Klonen Sie in Cloud Shell das Quell-Repository:

   git clone https://github.com/GoogleCloudPlatform/bigquery-dlp-remote-function.git
   

2. Wechseln Sie in das Verzeichnis für diese Anleitung:

   cd bigquery-dlp-remote-function/
   

Ressourcen mithilfe eines Skripts bereitstellen

Wenn Sie das Bereitstellungsskript ohne Anpassungen verwenden möchten, folgen Sie dieser Anleitung. Wenn Sie die Bereitstellung anpassen möchten, überspringen Sie diesen Abschnitt und lesen Sie stattdessen Benutzerdefinierte Lösung manuell bereitstellen.

1. Legen Sie die Werte für die Felder PROJECT_ID und REGION fest:

   # Project ID of the Google Cloud project
   PROJECT_ID="PROJECT_ID"
   
   # Google Cloud region to use for deployment of resources
   # Refer to https://cloud.google.com/about/locations
   REGION="REGION"
   

   Ersetzen Sie Folgendes:

   • PROJECT_ID: Die ID des Projekts für diese Anleitung.
   • REGION: Die Region, in der Sie die Daten speichern und verarbeiten möchten, z. B. us-west1. Geben Sie eine Region und keine Zone an.

2. Optional: Wenn Sie eine Inspektionsvorlage verwenden möchten, legen Sie das Feld DLP_INSPECT_TEMPLATE auf den vollständigen Ressourcennamen dieser Inspektionsvorlage fest. Die Inspektionsvorlage muss sich in derselben Region befinden, die Sie im Feld REGION festgelegt haben.

   Achten Sie darauf, dass die Inspektionsvorlage alle infoTypes enthält, die in der De-Identifikationsvorlage verwendet werden.

   Wenn Sie diesen Schritt überspringen, prüft Sensitive Data Protection die Daten mit einem systemstandardmäßigen Satz von infoType-Detektoren.

   DLP_INSPECT_TEMPLATE="DLP_INSPECT_TEMPLATE"
   

   Ersetzen Sie DLP_INSPECT_TEMPLATE durch den vollständigen Ressourcennamen Ihrer Inspektionsvorlage, z. B. projects/PROJECT_ID/locations/REGION/inspectTemplates/TEMPLATE_ID.

3. Authentifizieren Sie sich mit Standardanmeldedaten für Anwendungen:

   gcloud auth application-default login && \
   gcloud auth application-default set-quota-project "${PROJECT_ID}"
   

4. Initialisieren Sie das Terraform-Skript und führen Sie es aus, um alle Ressourcen zu erstellen:

   terraform init && \
   terraform apply \
   -var "project_id=${PROJECT_ID}" \
   -var "region=${REGION}" \
   -var "dlp_inspect_template_full_path=${DLP_INSPECT_TEMPLATE}"
   

   Das System zeigt alle Aktionen an, die von Terraform ausgeführt werden. Prüfen Sie die Aktionen. Geben Sie yes ein, um fortzufahren.

5. Prüfen Sie, ob Daten verschlüsselt und entschlüsselt werden können.

Benutzerdefinierte Lösung manuell bereitstellen

Wenn Sie das Deployment anpassen möchten, gehen Sie so vor. Wenn Sie das bereitgestellte Bereitstellungsskript ohne Anpassungen oder manuelle Schritte verwenden möchten, lesen Sie stattdessen Ressourcen mit einem Skript bereitstellen.

Umgebungsvariablen festlegen

Legen Sie in Cloud Shell die folgenden Umgebungsvariablen fest:

PROJECT_ID="PROJECT_ID"
REGION="REGION"
CLOUD_RUN_SERVICE_NAME="CLOUD-RUN-SERVICE-NAME"
ARTIFACT_REGISTRY_NAME="ARTIFACT-DOCKER-REGISTRY-NAME"

Ersetzen Sie Folgendes:

• PROJECT_ID: Die ID des Projekts für dieses Tutorial.
• REGION: Die Region, in der Sie die Daten speichern und verarbeiten möchten, z. B. us-west1. Geben Sie eine Region und keine Zone an.
• CLOUD_RUN_SERVICE_NAME: Ein Name für den neuen Cloud Run-Dienst. Sie können bis zu 15 Zeichen eingeben.
• ARTIFACT_REGISTRY_NAME: Ein Name für die neue Artifact Registry zum Speichern von Container-Images.

Dienstkonto für den Cloud Run-Dienst erstellen

1. Erstellen Sie ein Dienstkonto:

   RUNNER_SA_NAME="${CLOUD_RUN_SERVICE_NAME}-runner"
   RUNNER_SA_EMAIL="${RUNNER_SA_NAME}@${PROJECT_ID}.iam.gserviceaccount.com"
   gcloud iam service-accounts create "${RUNNER_SA_NAME}" \
       --project="${PROJECT_ID}" \
       --description "Runner for BigQuery remote function execution" \
       --display-name "${RUNNER_SA_NAME}"
   

2. Weisen Sie die erforderlichen Rollen für den Schutz sensibler Daten zu.

   Weisen Sie die Rolle DLP Reader zu:

   gcloud projects add-iam-policy-binding "${PROJECT_ID}" \
       --member="serviceAccount:${RUNNER_SA_EMAIL}" \
       --role='roles/dlp.reader'
   

   Weisen Sie die Rolle DLP-Nutzer zu:

   gcloud projects add-iam-policy-binding "${PROJECT_ID}" \
       --member="serviceAccount:${RUNNER_SA_EMAIL}" \
       --role='roles/dlp.user'
   

Cloud Run-Dienst bereitstellen

So stellen Sie die Anwendung bereit:

1. Optional: Sie können die Standardwerte ändern, indem Sie die Umgebungsvariablen ändern oder die Datei src/main/resources/aes.properties aktualisieren.

2. Erstellen Sie ein Artifact Registry-Repository zum Speichern des Container-Images der Funktion:

   gcloud artifacts repositories create "${ARTIFACT_REGISTRY_NAME}" \
   --repository-format=docker \
   --location="${REGION}" \
   --description="Container images repository for BigQuery Functions" \
   --project="${PROJECT_ID}"
   

3. Kompilieren Sie die Anwendung und stellen Sie sie mit Cloud Build in Cloud Run bereit:

   gcloud builds submit \
   --project ${PROJECT_ID} \
   --substitutions=_CONTAINER_IMAGE_NAME="${REGION}-docker.pkg.dev/${PROJECT_ID}/${ARTIFACT_REGISTRY_NAME}/${CLOUD_RUN_SERVICE_NAME}:latest" \
   --machine-type=e2-highcpu-8 && \
   gcloud beta run deploy ${CLOUD_RUN_SERVICE_NAME} \
   --image="${REGION}-docker.pkg.dev/${PROJECT_ID}/${ARTIFACT_REGISTRY_NAME}/${CLOUD_RUN_SERVICE_NAME}:latest" \
   --execution-environment=gen2 \
   --platform=managed \
   --region="${REGION}" \
   --service-account="${RUNNER_SA_EMAIL}" \
   --cpu=4 \
   --memory=8Gi \
   --no-allow-unauthenticated \
   --project ${PROJECT_ID} \
   --update-env-vars=PROJECT_ID=${PROJECT_ID}
   

   Das Ende der Ausgabe sieht in etwa so aus:

   ID: 403a276e-b0c6-41f3-aaed-f0ec9f9cedba
   CREATE_TIME: 2023-02-04T01:52:15+00:00
   DURATION: 1M59S
   SOURCE: gs://PROJECT_ID_cloudbuild/source/1675475534.124241-9c43787f64e04cfd9e4a1979d3324fe0.tgz
   IMAGES: gcr.io/PROJECT_ID/CLOUD_RUN_SERVICE_NAME (+1 more)
   STATUS: SUCCESS
   Deploying container to Cloud Run service [CLOUD_RUN_SERVICE_NAME] in project [PROJECT_ID] region [REGION]
   OK Deploying new service... Done.
    OK Creating Revision... Revision deployment finished. Checking container heal
    th.
    OK Routing traffic...
   Done.
   Service [CLOUD_RUN_SERVICE_NAME] revision [CLOUD_RUN_SERVICE_NAME-00001-tat] has been deployed and is serving 100 percent of traffic.
   Service URL: https://CLOUD_RUN_SERVICE_NAME-j2bpjx2xoq-uw.a.run.app
   

4. Rufen Sie die Cloud Run-URL ab und speichern Sie sie in Ihren Umgebungsvariablen:

   RUN_URL="$(gcloud run services describe ${CLOUD_RUN_SERVICE_NAME} --region \
       ${REGION} --project ${PROJECT_ID} --format="get(status.address.url)")"
   

De-Identifikationsvorlage für Sensitive Data Protection erstellen

Mit De-Identifikationsvorlagen für Sensitive Data Protection können Sie Ihre De-Identifikationseinstellungen speichern und für mehrere Vorgänge und Datenquellen wiederverwenden.

In diesem Schritt wird die Datei sample_dlp_deid_config.json verwendet, die eine Beispielvorlage für die De-Identifikation enthält.

Erstellen Sie die Vorlage in Cloud Shell:

DEID_TEMPLATE=$(curl -X POST \
-H "Authorization: Bearer `gcloud auth print-access-token`" \
-H "Accept: application/json" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: ${PROJECT_ID}" \
--data-binary "@sample_dlp_deid_config.json" \
"https://dlp.googleapis.com/v2/projects/${PROJECT_ID}/locations/${REGION}/deidentifyTemplates")

DEID_TEMPLATE_NAME="$(echo ${DEID_TEMPLATE} | jq -r '.name')"

Google empfiehlt, einen verpackten Schlüssel zu verwenden, wenn Sie Sensitive Data Protection-Verschlüsselung für tatsächlich sensible Arbeitslasten durchführen. Zu Demonstrationszwecken wird in dieser Anleitung ein nicht umschlossener Schlüssel verwendet. Weitere Informationen zum Erstellen eines verpackten Schlüssels und zur Verwendung in De-Identifikations- und Re-Identifikationsanfragen finden Sie unter Sensible Daten de-identifizieren und re-identifizieren.

BigQuery-Verbindung zu Cloud Run erstellen

1. Erstellen Sie in Cloud Shell eine BigQuery-Verbindung für den Zugriff auf Cloud Run:

   bq mk --connection \
   --display_name='External transform function connection' \
   --connection_type=CLOUD_RESOURCE \
   --project_id="${PROJECT_ID}" \
   --location="${REGION}" \
   ext-${CLOUD_RUN_SERVICE_NAME}
   

2. Suchen Sie das BigQuery-Dienstkonto, das für die Verbindung verwendet wird, und legen Sie es fest:

   CONNECTION_SA="$(bq --project_id ${PROJECT_ID} --format json show \
       --connection ${PROJECT_ID}.${REGION}.ext-${CLOUD_RUN_SERVICE_NAME} \
       | jq -r '.cloudResource.serviceAccountId')"
   

3. Weisen Sie dem Dienstkonto die Rolle Cloud Run-Aufrufer zu:

   gcloud projects add-iam-policy-binding ${PROJECT_ID} \
       --member="serviceAccount:${CONNECTION_SA}" \
       --role='roles/run.invoker'
   

BigQuery-Dataset für Remote-Funktionen erstellen

1. Definieren Sie das BigQuery-Dataset für die Remote-Funktionen:

   BQ_FUNCTION_DATASET="fns"
   

2. Erstellen Sie das Dataset, falls es noch nicht vorhanden ist:

      bq mk --dataset \
          --project_id ${PROJECT_ID} \
          --location ${REGION} \
          ${BQ_FUNCTION_DATASET}
   

Remote-Funktionen für Sensitive Data Protection erstellen

1. Optional: Wenn Sie eine Inspektionsvorlage verwenden möchten, setzen Sie die Variable DLP_INSPECT_TEMPLATE auf den vollständigen Ressourcennamen dieser Inspektionsvorlage. Die Inspektionsvorlage muss sich in derselben Region befinden, die Sie in der Umgebungsvariable REGION festgelegt haben.

   Achten Sie darauf, dass die Inspektionsvorlage alle infoTypes enthält, die in der De-Identifikationsvorlage verwendet werden.

   Wenn Sie diesen Schritt überspringen, prüft Sensitive Data Protection die Daten mit einem systemstandardmäßigen Satz von infoType-Detektoren.

   DLP_INSPECT_TEMPLATE="DLP_INSPECT_TEMPLATE"
   

   Ersetzen Sie DLP_INSPECT_TEMPLATE durch den vollständigen Ressourcennamen Ihrer Inspektionsvorlage, z. B. projects/PROJECT_ID/locations/REGION/inspectTemplates/TEMPLATE_ID.

2. Erstellen Sie die De-Identifikationsfunktion für Sensitive Data Protection:

   bq query --project_id ${PROJECT_ID} \
   --use_legacy_sql=false \
   "CREATE OR REPLACE FUNCTION ${BQ_FUNCTION_DATASET}.dlp_freetext_encrypt(v STRING)
   RETURNS STRING
   REMOTE WITH CONNECTION \`${PROJECT_ID}.${REGION}.ext-${CLOUD_RUN_SERVICE_NAME}\`
   OPTIONS (endpoint = '${RUN_URL}', user_defined_context = [('mode', 'deidentify'),('algo','dlp'),('dlp-deid-template','${DEID_TEMPLATE_NAME}'),('dlp-inspect-template', '${DLP_INSPECT_TEMPLATE}')]);"
   

3. Erstellen Sie die Re-Identifikationsfunktion für Sensitive Data Protection:

   bq query --project_id ${PROJECT_ID} \
   --use_legacy_sql=false \
   "CREATE OR REPLACE FUNCTION ${BQ_FUNCTION_DATASET}.dlp_freetext_decrypt(v STRING)
   RETURNS STRING
   REMOTE WITH CONNECTION \`${PROJECT_ID}.${REGION}.ext-${CLOUD_RUN_SERVICE_NAME}\`
   OPTIONS (endpoint = '${RUN_URL}', user_defined_context = [('mode', 'reidentify'),('algo','dlp'),('dlp-deid-template','${DEID_TEMPLATE_NAME}'),('dlp-inspect-template', '${DLP_INSPECT_TEMPLATE}')]);"
   

De-Identifikation und Re-Identifikation prüfen

So prüfen Sie, ob die Lösung Daten de-identifiziert und re-identifiziert:

Die Ausgabe sieht etwa so aus:

Hinweise

Beachten Sie beim Anpassen dieser Anleitung an Ihre Anforderungen Folgendes:

• Die De- und Re-Identifizierung erfolgt über einen Cloud Run-Dienst. Stellen Sie die Cloud Run-CPU und den Arbeitsspeicher entsprechend Ihren Rechenanforderungen bereit. Weitere Informationen finden Sie unter CPU-Limits und Arbeitsspeicherlimits für Cloud Run.
• Berücksichtigen Sie bei der Verwendung des Schutzes sensibler Daten die Nutzungslimits und Empfehlungen zur Kostenkontrolle.

• Um die Kosten und den gesamten Verbrauch Ihres Kontingents für den Schutz sensibler Daten zu steuern, sollten Sie die Elemente, die Sie über die Remote-Funktion für den Schutz sensibler Daten übergeben, auf maximal 10.000 begrenzen. Die Lösung kann die Anfragen automatisch in Batches aufteilen, um die folgenden Anfragelimits für den Schutz sensibler Daten zu berücksichtigen:

  • Maximale Anzahl von Tabellenwerten: 50.000
  • Standardlimit für Anfragengröße: 0,5 MB

  Die endgültigen und gefilterten Ergebnisse der Abfrage sollten an die Funktion „Sensitive Data Protection“ und nicht an die Quelle übergeben werden.

  Bei dieser Lösung ist jeder Wert in der Spalte pii_column ein Element, z. B. My name is John Doe. My email is john.doe@example.com.

• Achten Sie darauf, dass sich Ihr BigQuery-Dataset, Ihr Cloud Run-Dienst und Ihre Vorlagen für den Schutz sensibler Daten in derselben Cloud-Region befinden.