Diese Seite wurde von der Cloud Translation API übersetzt.

Vom Kunden verwaltete Verschlüsselungsschlüssel (CMEK)

Wenn Sie Dataproc verwenden, werden Cluster- und Jobdaten auf nichtflüchtigen Speichern gespeichert, die mit den Compute Engine-VMs in Ihrem Cluster und in einem Cloud Storage-Staging-Bucket verknüpft sind. Die Daten auf dieser Persistent Disk und in diesem Bucket werden mit einem von Google generierten Datenverschlüsselungsschlüssel (Data Encryption Key, DEK) und mit einem Schlüsselverschlüsselungsschlüssel (Key Encryption Key, KEK) verschlüsselt.

Mit der CMEK-Funktion können Sie den KEK erstellen, verwenden und widerrufen. Die Verwaltung des DEK obliegt Google. Weitere Informationen zu Datenverschlüsselungsschlüsseln von Google finden Sie unter Verschlüsselung inaktiver Daten.

CMEK mit Clusterdaten verwenden

Sie können vom Kunden verwaltete Verschlüsselungsschlüssel (Customer-Managed Encryption Keys, CMEKs) verwenden, um die folgenden Clusterdaten zu verschlüsseln:

Daten auf den nichtflüchtigen Speichern, die an VMs in Ihrem Dataproc-Cluster angehängt sind
Jobargumentdaten, die an Ihren Cluster gesendet werden, z. B. ein Abfragestring, der mit einem Spark SQL-Job gesendet wird
Clustermetadaten, Job-Treiberausgabe und andere Daten, die in einen von Ihnen erstellten Dataproc-Staging-Bucket geschrieben werden

So verwenden Sie CMEK mit der Verschlüsselung von Clusterdaten:

Erstellen Sie einen oder mehrere Schlüssel mit dem Cloud Key Management Service. Der Ressourcenname, auch Ressourcen-ID eines Schlüssels genannt, den Sie in den nächsten Schritten verwenden, wird so erstellt:
```
projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
```
Verwenden Sie die Seite Kryptografische Schlüssel in derGoogle Cloud Console, um eine Schlüsselressourcen-ID in die Zwischenablage zu kopieren.
Weisen Sie den folgenden Dienstkonten die folgenden Rollen zu:
1. Führen Sie Punkt 5 in Compute Engine → Ressourcen mit Cloud KMS-Schlüsseln schützen → Vorbereitung aus, um dem Dienstkonto des Compute Engine-Dienst-Agents} die Cloud KMS-Rolle CryptoKey Encrypter/Decrypter zuzuweisen.
  Wenn das Dienstkonto des Compute Engine-Dienst-Agents auf der Seite IAM in der Google Cloud Console nicht angezeigt wird, klicken Sie auf der Seite auf „Von Google bereitgestellte Rollenzuweisungen einschließen“.
2. Weisen Sie dem Dienstkonto des Cloud Storage-Dienst-Agents die Rolle Cloud KMS CryptoKey Encrypter/Decrypter zu.
3. Weisen Sie dem Dienstkonto des Dataproc-Dienst-Agents die Rolle Cloud KMS CryptoKey-Verschlüsseler/Entschlüsseler zu. Sie können die Google Cloud CLI verwenden, um die Rolle zuzuweisen:
```
  gcloud projects add-iam-policy-binding KMS_PROJECT_ID \
  --member serviceAccount:service-PROJECT_NUMBER@dataproc-accounts.iam.gserviceaccount.com \
  --role roles/cloudkms.cryptoKeyEncrypterDecrypter
```
  Ersetzen Sie Folgendes:
  
  KMS_PROJECT_ID: die ID Ihres Google Cloud -Projekts, in dem Cloud KMS ausgeführt wird. Dieses Projekt kann auch das Projekt sein, in dem Dataproc-Ressourcen ausgeführt werden.
  
  PROJECT_NUMBER: die Projektnummer (nicht die Projekt-ID) Ihres Google Cloud Projekts, in dem Dataproc-Ressourcen ausgeführt werden.
4. Aktivieren Sie die Cloud KMS API für das Projekt, in dem Dataproc-Ressourcen ausgeführt werden.
5. Wenn die Dataproc Service Agent-Rolle nicht an das Dataproc Service Agent-Dienstkonto angehängt ist, fügen Sie der benutzerdefinierten Rolle, die an das Dataproc Service Agent-Dienstkonto angehängt ist, die Berechtigung serviceusage.services.use hinzu. Wenn die Rolle „Dataproc Service Agent“ dem Dataproc-Dienst-Agent-Dienstkonto zugewiesen ist, können Sie diesen Schritt überspringen.
Übergeben Sie die Ressourcen-ID Ihres Schlüssels an die Google Cloud CLI oder die Dataproc API, um sie für die Clusterdatenverschlüsselung zu verwenden.
gcloud-CLI
- Wenn Sie Daten auf dem nichtflüchtigen Speicher des Clusters mit Ihrem Schlüssel verschlüsseln möchten, übergeben Sie beim Erstellen des Clusters die Ressourcen-ID Ihres Schlüssels an das Flag --gce-pd-kms-key.
  gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --gce-pd-kms-key='projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME' \ other arguments ...
  Sie können die Schlüsseleinstellung im Befehlszeilentool gcloud ansehen.
  gcloud dataproc clusters describe CLUSTER_NAME \ --region=REGION
  Snippet der Befehlsausgabe:
  ... configBucket: dataproc- ... encryptionConfig: gcePdKmsKeyName: projects/project-id/locations/region/keyRings/key-ring-name/cryptoKeys/key-name ...
- Wenn Sie Daten auf nichtflüchtigen Speichern von Clustern und Jobargumentdaten mit Ihrem Schlüssel verschlüsseln möchten, übergeben Sie beim Erstellen des Clusters die Ressourcen-ID des Schlüssels an das Flag --kms-key. Eine Liste der Jobtypen und Argumente, die mit dem Flag --kms-key verschlüsselt werden, finden Sie unter Cluster.EncryptionConfig.kmsKey.
  gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --kms-key='projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME' \ other arguments ...
  Sie können die Schlüsseleinstellungen mit dem gcloud CLI-Befehl dataproc clusters describe überprüfen. Die Schlüsselressourcen-ID wird für gcePdKmsKeyName und kmsKey festgelegt, damit Ihr Schlüssel für die Verschlüsselung von nichtflüchtigen Speichern für Cluster und Jobargumentdaten verwendet wird.
  gcloud dataproc clusters describe CLUSTER_NAME \ --region=REGION
  Snippet der Befehlsausgabe:
  ... configBucket: dataproc- ... encryptionConfig: gcePdKmsKeyName: projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME kmsKey: projects/PROJECT_ID/locations/REGION/keyRings/key-KEY_RING_NAME-name/cryptoKeys/KEY_NAME ...
  Sie können entweder das Flag --gce-pd-kms-key oder das Flag --kms-key verwenden, aber nicht beide, um Clusterdaten mit Ihrem Schlüssel zu verschlüsseln.
- So verschlüsseln Sie Clustermetadaten, Jobtreiber und andere Ausgabedaten, die in Ihren Dataproc-Staging-Bucket in Cloud Storage geschrieben werden:
  - Eigenen Bucket mit CMEK erstellen Verwenden Sie beim Hinzufügen des Schlüssels zum Bucket einen Schlüssel, den Sie in Schritt 1 erstellt haben.
  - Übergeben Sie den Bucket-Namen an das Flag --bucket, wenn Sie den Cluster erstellen.
  gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --bucket=CMEK_BUCKET_NAME \ other arguments ...
  Sie können CMEK-fähige Buckets auch an den Befehl `gcloud dataproc jobs submit` übergeben, wenn Ihr Job Bucket-Argumente annimmt. Das folgende Beispiel `cmek-bucket` zeigt, wie das geht:
  gcloud dataproc jobs submit pyspark gs://cmek-bucket/wordcount.py \ --region=region \ --cluster=cluster-name \ -- gs://cmek-bucket/shakespeare.txt gs://cmek-bucket/counts
  Dataproc verwaltet keine vom Kunden verwalteten Verschlüsselungsschlüssel für Ihren Cloud Storage-Bucket.
  
  Die Verwendung eines Buckets mit einem vom Kunden verwalteten Verschlüsselungsschlüssel kann die Schreibzeiten auf große Dateien verlangsamen.
REST API
- Wenn Sie die Daten des nichtflüchtigen Speichers von Cluster-VMs mit Ihrem Schlüssel verschlüsseln möchten, fügen Sie das Feld ClusterConfig.EncryptionConfig.gcePdKmsKeyName als Teil einer cluster.create-Anfrage hinzu.
  Sie können die Schlüsseleinstellung mit dem gcloud CLI-Befehl dataproc clusters describe prüfen.
  gcloud dataproc clusters describe CLUSTER_NAME \ --region=REGION
  Snippet der Befehlsausgabe:
  ... configBucket: dataproc- ... encryptionConfig: gcePdKmsKeyName: projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME ...
- Wenn Sie die Daten des nichtflüchtigen Speichers der Cluster-VM und die Jobargumentdaten mit Ihrem Schlüssel verschlüsseln möchten, fügen Sie das Feld Cluster.EncryptionConfig.kmsKey als Teil einer cluster.create-Anfrage ein. Eine Liste der Jobtypen und Argumente, die mit dem Feld --kms-key verschlüsselt werden, finden Sie unter Cluster.EncryptionConfig.kmsKey.
  Sie können entweder das Feld Cluster.EncryptionConfig.gcePdKmsKeyName oder das Feld Cluster.EncryptionConfig.kmsKey in Ihre Anfrage zum Erstellen des Clusters aufnehmen, aber nicht beide.
  
  Sie können die Schlüsseleinstellungen mit dem gcloud CLI-Befehl dataproc clusters describe überprüfen. Die Schlüsselressourcen-ID wird für gcePdKmsKeyName und kmsKey festgelegt, damit Ihr Schlüssel für die Verschlüsselung von nichtflüchtigen Speichern für Cluster und Jobargumentdaten verwendet wird.
  gcloud dataproc clusters describe CLUSTER_NAME \ --region=REGION
  Snippet der Befehlsausgabe:
  ... configBucket: dataproc- ... encryptionConfig: gcePdKmsKeyName: projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME kmsKey: projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
- To encrypt cluster metadata, job driver, and other output data written to your Dataproc staging bucket in Cloud Storage:
  - Create your own bucket with CMEK. When adding the key to the bucket, use a key that you created in Step 1.
  - Pass the bucket name to the ClusterConfig.configBucket field as part of a cluster.create request.
```
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --bucket=CMEK_BUCKET_NAMEt \
    other arguments ...
```
  Dataproc verwaltet keine vom Kunden verwalteten Verschlüsselungsschlüssel für Ihren Cloud Storage-Bucket.
  
  Die Verwendung eines Buckets mit einem vom Kunden verwalteten Verschlüsselungsschlüssel kann die Schreibzeiten auf große Dateien verlangsamen.
  Sie können CMEK-fähige Buckets auch an den Befehl `gcloud dataproc jobs submit` übergeben, wenn Ihr Job Bucket-Argumente annimmt. Das folgende Beispiel `cmek-bucket` zeigt, wie das geht:
  gcloud dataproc jobs submit pyspark gs://cmek-bucket/wordcount.py \ --region=region \ --cluster=cluster-name \ -- gs://cmek-bucket/shakespeare.txt gs://cmek-bucket/counts

CMEK mit Workflowvorlagendaten verwenden

Dataproc-Workflowvorlagen-Jobargumentdaten, z. B. der Abfragestring eines Spark SQL-Jobs, können mit CMEK verschlüsselt werden. Führen Sie die Schritte 1, 2 und 3 in diesem Abschnitt aus, um CMEK mit Ihrer Dataproc-Workflowvorlage zu verwenden. Unter WorkflowTemplate.EncryptionConfig.kmsKey finden Sie eine Liste der Workflowvorlagen-Jobtypen und ‑Argumente, die mit CMEK verschlüsselt werden, wenn dieses Feature aktiviert ist.

Erstellen Sie einen Schlüssel mithilfe des Cloud Key Management Service (Cloud KMS). Der Ressourcenname des Schlüssels, den Sie in den nächsten Schritten verwenden, wird so erstellt:
```
projects/project-id/locations/region/keyRings/key-ring-name/cryptoKeys/key-name
```
Verwenden Sie die Seite Kryptografische Schlüssel derGoogle Cloud Console, um eine Schlüsselressourcen-ID in die Zwischenablage zu kopieren.
So ermöglichen Sie den Dataproc-Dienstkonten die Verwendung Ihres Schlüssels:
1. Weisen Sie dem Dataproc-Dienst-Agent-Dienstkonto die Cloud KMS-Rolle CryptoKey Encrypter/Decrypter zu. Sie können die gcloud CLI verwenden, um die Rolle zuzuweisen:
```
 gcloud projects add-iam-policy-binding KMS_PROJECT_ID \
 --member serviceAccount:service-PROJECT_NUMBER@dataproc-accounts.iam.gserviceaccount.com \
 --role roles/cloudkms.cryptoKeyEncrypterDecrypter
```
  Ersetzen Sie Folgendes:
  
  KMS_PROJECT_ID: die ID Ihres Google Cloud -Projekts, in dem Cloud KMS ausgeführt wird. Dieses Projekt kann auch das Projekt sein, in dem Dataproc-Ressourcen ausgeführt werden.
  
  PROJECT_NUMBER: die Projektnummer (nicht die Projekt-ID) Ihres Google Cloud Projekts, in dem Dataproc-Ressourcen ausgeführt werden.
2. Aktivieren Sie die Cloud KMS API für das Projekt, in dem Dataproc-Ressourcen ausgeführt werden.
3. Wenn die Dataproc Service Agent-Rolle nicht an das Dataproc Service Agent-Dienstkonto angehängt ist, fügen Sie der benutzerdefinierten Rolle, die an das Dataproc Service Agent-Dienstkonto angehängt ist, die Berechtigung serviceusage.services.use hinzu. Wenn die Rolle des Dataproc-Dienst-Agents dem Dienstkonto des Dataproc-Dienst-Agents zugewiesen ist, können Sie diesen Schritt überspringen.
Sie können die Google Cloud CLI oder die Dataproc API verwenden, um den in Schritt 1 erstellten Schlüssel für einen Workflow festzulegen. Sobald der Schlüssel für einen Workflow festgelegt ist, werden alle Workflow-Jobargumente und ‑Abfragen mit dem Schlüssel für alle Jobtypen und Argumente verschlüsselt, die in WorkflowTemplate.EncryptionConfig.kmsKey aufgeführt sind.
gcloud-CLI

Übergeben Sie die Ressourcen-ID Ihres Schlüssels an das Flag --kms-key, wenn Sie die Workflowvorlage mit dem Befehl gcloud dataproc workflow-templates create erstellen.

Beispiel:
```
gcloud dataproc workflow-templates create my-template-name \
    --region=region \
    --kms-key='projects/project-id/locations/region/keyRings/key-ring-name/cryptoKeys/key-name' \
    other arguments ...
```
Sie können die Schlüsseleinstellung im Befehlszeilentool gcloud ansehen.
```
gcloud dataproc workflow-templates describe TEMPLATE_NAME \
    --region=REGION
```
```
...
id: my-template-name
encryptionConfig:
kmsKey: projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
...
```
REST API

Verwenden Sie WorkflowTemplate.EncryptionConfig.kmsKey als Teil einer workflowTemplates.create-Anfrage.

Sie können die Schlüsseleinstellung mit der Anfrage workflowTemplates.get prüfen. Das zurückgegebene JSON enthält Listen der kmsKey:
```
...
"id": "my-template-name",
"encryptionConfig": {
  "kmsKey": "projects/project-id/locations/region/keyRings/key-ring-name/cryptoKeys/key-name"
},
```

Cloud External Key Manager

Mit dem Cloud External Key Manager (Cloud EKM) können Sie Dataproc-Daten mit Schlüsseln schützen, die von einem unterstützten externen Schlüsselverwaltungspartner verwaltet werden. Die Schritte, die Sie zur Verwendung von EKM in Dataproc verwenden, sind die gleichen wie die zum Einrichten von CMEK-Schlüsseln, mit dem folgenden Unterschied: Ihr Schlüssel verweist auf einen URI für Extern bereitgestellten Schlüssel (siehe Cloud EKM-Übersicht).

Cloud EKM-Fehler

Wenn Sie Cloud EKM verwenden, kann ein Versuch, einen Cluster zu erstellen, aufgrund von Fehlern im Zusammenhang mit Eingaben, Cloud EKM, dem Partnersystem für die externe Schlüsselverwaltung oder der Kommunikation zwischen EKM und dem externen System fehlschlagen. Wenn Sie die REST API oder die Google Cloud -Konsole verwenden, werden Fehler in Logging protokolliert. Sie können die Fehler des fehlgeschlagenen Clusters auf dem Tab Log ansehen prüfen.