Daten mit vom Kunden verwalteten Verschlüsselungsschlüsseln verschlüsseln

Standardmäßig verschlüsselt Dataproc Metastore inaktive Kundendaten. Die Verschlüsselung wird von Dataproc Metastore durchgeführt. Zusätzliche Maßnahmen Ihrerseits sind nicht erforderlich. Diese Option wird Google-Standardverschlüsselung genannt.

Wenn Sie Ihre Verschlüsselungsschlüssel selbst verwalten möchten, können Sie vom Kunden verwaltete Verschlüsselungsschlüssel (CMEKs, Customer-Managed Encryption Keys) in Cloud KMS mit CMEK-integrierten Diensten wie Dataproc Metastore verwenden. Mit Cloud KMS-Schlüsseln haben Sie die Kontrolle über Schutzlevel, Speicherort, Rotationszeitplan, Nutzungs- und Zugriffsberechtigungen sowie über kryptografische Grenzen. Mit Cloud KMS können Sie außerdem Audit-Logs aufrufen und den Lebenszyklus von Schlüsseln steuern. Statt es Google zu überlassen und zu verwalten, das die symmetrischen Schlüsselverschlüsselungsschlüssel (Key Encryption Keys, KEKs) zum Schutz Ihrer Daten enthält, können Sie diese auch über Cloud KMS steuern und verwalten.

Nachdem Sie Ihre Ressourcen mit CMEKs eingerichtet haben, ähnelt der Zugriff auf Ihre Dataproc Metastore-Ressourcen der Verwendung der Google-Standardverschlüsselung. Weitere Informationen zu Ihren Verschlüsselungsoptionen finden Sie unter Vom Kunden verwaltete Verschlüsselungsschlüssel (CMEK).

Hinweise

• Dataproc Metastore aktivieren
• Dataproc Metastore-Dienst erstellen

Hinweise

Beachten Sie die folgenden Punkte, wenn Sie Dataproc Metastore mit CMEK verwenden.

• CMEK wird sowohl für Dataproc Metastore-Dienste mit einer Region als auch mit mehreren Regionen unterstützt (Vorschau).

• Die Cloud Monitoring-Datenbank unterstützt keine CMEK-Verschlüsselung. Stattdessen verwendetGoogle Cloud Google-Verschlüsselungsschlüssel, um die Namen und Dienstkonfigurationen Ihrer Dataproc Metastore-Dienste zu schützen.

• Wenn Ihr Dataproc Metastore-Dienst in einem VPC Service Controls-Perimeter ausgeführt werden soll, müssen Sie die Cloud Key Management Service (Cloud KMS) API hinzufügen.

• Wenn Sie einen Cloud External Key Manager-Schlüssel verwenden, hat Google keine Kontrolle über die Verfügbarkeit Ihres extern verwalteten Schlüssels. Wenn der Schlüssel während der Erstellung des Dataproc Metastore-Dienstes nicht mehr verfügbar ist, schlägt die Erstellung des Dienstes fehl. Wenn ein Dataproc Metastore-Dienst erstellt wurde und der Schlüssel nicht mehr verfügbar ist, ist der Dienst nicht mehr verfügbar, bis der Schlüssel wieder verfügbar ist. Weitere Überlegungen zur Verwendung externer Schlüssel finden Sie unter Cloud EKM-Überlegungen.

Beschränkungen

Beachten Sie die folgenden Einschränkungen, wenn Sie Dataproc Metastore mit CMEK verwenden.

• Sie können CMEK nicht für einen vorhandenen Dienst aktivieren.

• Sie können CMEKs, die von einem CMEK-fähigen Dienst verwendet werden, nicht rotieren.

• Sie können keine CMEKs verwenden, um Nutzerdaten wie Nutzerabfragen und -antworten während der Übertragung zu verschlüsseln.

CMEK für Dataproc Metastore konfigurieren

Wenn Sie noch keinen Cloud KMS-Schlüssel haben, können Sie einen für Ihren Dataproc Metastore-Dienst erstellen. Andernfalls können Sie diesen Schritt überspringen und einen vorhandenen Schlüssel verwenden.

Optional: Neuen Cloud KMS-Schlüssel erstellen

Zum Erstellen eines Cloud KMS-Schlüssels erstellen Sie zuerst einen Schlüsselbund und dann einen Schlüssel, der im Schlüsselbund gespeichert wird.

Schlüsselbund erstellen

Führen Sie den folgenden gcloud kms keyrings create Befehl aus, um ein Schlüsselbund zu erstellen:

gcloud kms keyrings create KEY_RING \
  --project=PROJECT_ID \
  --location=LOCATION

Ersetzen Sie Folgendes:

• KEY_RING: Ein Name für Ihren Schlüsselbund.
• PROJECT_ID: die ID des Google Cloud Projekts, in dem Sie den Schlüsselbund erstellen möchten.
• LOCATION: die Region, in der Sie den Schlüsselbund erstellen möchten.

Schlüssel erstellen

Führen Sie den folgenden Befehl aus, um einen Schlüssel zu erstellen, der in Ihrem Schlüsselbund gespeichert wird:gcloud kms keys create

gcloud kms keys create KEY_NAME \
  --project=PROJECT_ID \
  --location=LOCATION \
  --keyring=KEY_RING \
  --purpose=encryption

Ersetzen Sie Folgendes:

• KEY_NAME: Der Name des Schlüssels.
• KEY_RING: der Name des Schlüsselbunds, den Sie im vorherigen Schritt erstellt haben.

Cloud KMS-Schlüsselberechtigungen erteilen

Verwenden Sie die folgenden Befehle, um Berechtigungen für Cloud KMS-Schlüssel für Dataproc Metastore zu erteilen:

1. Erteilen Sie dem Dienstkonto des Dataproc Metastore-Dienst-Agent Berechtigungen:

   Wenn Sie CMEK für einen multiregionalen Dataproc Metastore-Dienst konfigurieren möchten, müssen Sie jedem Schlüssel die erforderlichen Cloud KMS-Berechtigungen für die Dienstkonten von Dataproc Metastore und Cloud Storage gewähren.

     gcloud kms keys add-iam-policy-binding KEY_NAME \
       --location LOCATION \
       --keyring KEY_RING \
       --member=serviceAccount:$(gcloud beta services identity create \
       --service=metastore.googleapis.com 2>&1 | awk '{print $4}') \
       --role=roles/cloudkms.cryptoKeyEncrypterDecrypter

1. Gewähren Sie dem Cloud Storage-Dienstkonto Berechtigungen:

     gcloud storage service-agent --authorize-cmek projects/KEY_PROJECT/locations/LOCATION/keyRings/KEY_RING/cryptoKeys/KEY_NAME

Dienst für eine einzelne Region mit einem CMEK-Schlüssel erstellen

Führen Sie die folgenden Schritte aus, um die CMEK-Verschlüsselung für einen Dataproc Metastore-Dienst mit einer einzelnen Region zu konfigurieren.

Multiregionalen Dienst mit einem CMEK-Schlüssel erstellen

Für multiregionale Dataproc Metastore-CMEK-Dienste müssen mehrere Verschlüsselungsschlüssel angegeben werden. Dazu gehört ein Schlüssel für jede konstituierende Region des multiregionalen Dataproc Metastore-Dienstes, ein Schlüssel für die Spanner-Zeugenregion und ein Schlüssel für den Kontinent.

Mit dem folgenden Befehl können Sie Informationen zu Ihrem multiregionalen Dienst und den Regionen abrufen, für die er konfiguriert ist.

gcloud metastore locations describe LOCATION

• Ersetzen Sie LOCATION durch die multiregionale Region, in der Sie den Dataproc Metastore-Dienst erstellt haben.

Multiregionalen Dienst mit einem CMEK-Schlüssel erstellen

Führen Sie die folgenden Schritte aus, um die CMEK-Verschlüsselung für einen Dataproc Metastore-Dienst mit mehreren Regionen zu konfigurieren.

gcloud beta metastore services create SERVICE \
    --location=LOCATION \
    --instance-size=INSTANCE_SIZE \
    --encryption-kms-keys=KMS_KEY1,KMS_KEY2,KMS_KEY_WITNESS,KMS_KEY_CONTINENT

Daten von und zu einem CMEK-fähigen Dienst importieren und exportieren

Wenn Sie möchten, dass Ihre Daten während eines Imports mit einem vom Kunden verwalteten Schlüssel verschlüsselt bleiben, müssen Sie für den Cloud Storage-Bucket CMEK festlegen, bevor Sie Daten aus ihm importieren.

Sie können Daten aus einem Cloud Storage-Bucket importieren, der nicht mit CMEK geschützt ist. Nach dem Import werden die in Dataproc Metastore gespeicherten Daten gemäß den CMEK-Einstellungen des Zieldienstes geschützt.

Beim Exportieren wird der exportierte Datenbankdump gemäß den CMEK-Einstellungen des Ziel-Storage-Buckets geschützt.

Nächste Schritte

• Metadaten in einen Dienst importieren