In diesem Dokument wird beschrieben, wie Sie Dataplex Universal Catalog-Daten mit vom Kunden verwalteten Verschlüsselungsschlüsseln (Customer-Managed Encryption Keys, CMEK) verschlüsseln.
Übersicht
Standardmäßig werden inaktive Kundendaten im Dataplex Universal Catalog verschlüsselt. Die Verschlüsselung wird von Dataplex Universal Catalog durchgeführt. Zusätzliche Maßnahmen Ihrerseits sind nicht erforderlich. Diese Option wird Google-Standardverschlüsselung genannt.
Wenn Sie Ihre Verschlüsselungsschlüssel selbst verwalten möchten, können Sie vom Kunden verwaltete Verschlüsselungsschlüssel (CMEKs, Customer-Managed Encryption Keys) in Cloud KMS mit CMEK-integrierten Diensten wie dem Dataplex Universal Catalog verwenden. Mit Cloud KMS-Schlüsseln haben Sie die Kontrolle über Schutzlevel, Speicherort, Rotationszeitplan, Nutzungs- und Zugriffsberechtigungen sowie über kryptografische Grenzen. Mit Cloud KMS können Sie außerdem die Schlüsselnutzung im Blick behalten, Audit-Logs aufrufen und den Lebenszyklus von Schlüsseln steuern. Statt es Google zu überlassen und zu verwalten, das die symmetrischen Schlüsselverschlüsselungsschlüssel (Key Encryption Keys, KEKs) zum Schutz Ihrer Daten enthält, können Sie diese auch über Cloud KMS steuern und verwalten.
Nachdem Sie Ihre Ressourcen mit CMEKs eingerichtet haben, ähnelt der Zugriff auf Ihre Dataplex Universal Catalog-Ressourcen der Verwendung der Google-Standardverschlüsselung. Weitere Informationen zu Ihren Verschlüsselungsoptionen finden Sie unter Vom Kunden verwaltete Verschlüsselungsschlüssel (CMEK).
Dataplex Universal Catalog verwendet einen CMEK pro Standort für alle Dataplex Universal Catalog-Ressourcen.
Sie können einen CMEK-Schlüssel auf Organisationsebene in Dataplex Universal Catalog konfigurieren.
Weitere Informationen zu CMEKs im Allgemeinen, einschließlich wann und warum sie aktiviert werden sollten, finden Sie unter Vom Kunden verwaltete Verschlüsselungsschlüssel (CMEKs).
Vorteile von CMEK
Mit CMEK haben Sie folgende Möglichkeiten:
- Schlüssel-Lebenszyklusvorgänge und Zugriffsberechtigungen verwalten
- Mit der Key Inventory API und den Dashboards zur Schlüsselnutzung in Cloud KMS können Sie die Schlüsselnutzung nachverfolgen und sehen, welche Schlüssel welche Ressourcen schützen. Cloud Logging gibt Aufschluss darüber, wann und von wem auf die Schlüssel zugegriffen wurde.
- Erfüllen Sie bestimmte regulatorische Anforderungen, indem Sie Ihre Verschlüsselungsschlüssel verwalten.
Funktionsweise von CMEK mit Dataplex Universal Catalog
Dataplex Universal Catalog-Verschlüsselungsadministratoren in Ihrem Google Cloud Projekt können CMEK für Dataplex Universal Catalog konfigurieren, indem sie den Cloud KMS-Schlüssel angeben. Dataplex Universal Catalog verwendet dann den angegebenen Cloud KMS-Schlüssel, um alle Daten zu verschlüsseln, einschließlich vorhandener Daten und aller neuen Ressourcen, die in Dataplex Universal Catalog erstellt werden.
Unterstützte Features
- Dataplex Universal Catalog unterstützt die CMEK-Verschlüsselung für die folgenden Funktionen:
- In Data Lineage werden keine wichtigen Kundeninhalte oder sensiblen Daten gespeichert. Daher ist keine CMEK-Verschlüsselung erforderlich.
- Assured Workloads-Kunden können keine anderen Dataplex Universal Catalog-Funktionen verwenden, da die CMEK-Verschlüsselung für sie nicht unterstützt wird.
- Kunden, die Assured Workloads nicht verwenden, können andere Funktionen nutzen. Die Daten werden jedoch mit der Standardverschlüsselung von Google verschlüsselt.
Hinweise
- Standardmäßig wird jede Organisation mit der Standardverschlüsselung von Google bereitgestellt.
- Der Organisationsadministrator kann für jeden Standort zu CMEK in Dataplex Universal Catalog wechseln.
- Dataplex Universal Catalog unterstützt Cloud KMS-Schlüssel, Cloud HSM-Schlüssel und Cloud External Key Manager-Schlüssel.
- Die Schlüsselrotation wird unterstützt. Sobald sie verfügbar ist, wird die neue Schlüsselversion automatisch für die Datenverschlüsselung verwendet. Vorhandene Daten werden ebenfalls mit dieser neuen Version verschlüsselt.
- Dataplex Universal Catalog behält Datensicherungen maximal 15 Tage lang bei. Alle Back-ups, die nach der Aktivierung von CMEK erstellt werden, werden mit dem angegebenen KMS-Schlüssel verschlüsselt. Daten, die vor der Aktivierung von CMEK gesichert wurden, bleiben maximal 15 Tage lang mit der Standardverschlüsselung von Google verschlüsselt.
Beschränkungen
- Der Wechsel zu CMEK kann nicht rückgängig gemacht werden. Nachdem Sie sich für CMEK entschieden haben, können Sie nicht mehr zur Standardverschlüsselung von Google zurückkehren.
- Nachdem ein Cloud KMS-Schlüssel für Dataplex Universal Catalog konfiguriert wurde, kann er nicht mehr aktualisiert oder geändert werden.
- Dataplex Universal Catalog unterstützt nur die Verschlüsselung auf Organisationsebene. Die Verschlüsselungskonfiguration wird daher auf Organisationsebene für einen bestimmten Standort festgelegt und zum Verschlüsseln von Dataplex Universal Catalog-Daten für alle Projekte innerhalb dieser Organisation und dieses Standorts verwendet. Die CMEK-Verschlüsselung wird für bestimmte Projekte in einer Organisation oder einem Ordner nicht unterstützt. Das Festlegen von CMEK-bezogenen Organisationsrichtlinien erfordert sorgfältige Überlegungen.
- Dataplex Universal Catalog unterstützt keinen CMEK in der globalen Region.
- CMEK-Schutz ist für Metadaten, die in Aspekten und Glossaren erfasst werden, nicht verfügbar.
Verschlüsselungsschlüssel schützen
Damit Sie weiterhin auf die Daten zugreifen können, die mit CMEK verschlüsselt sind, sollten Sie die folgenden Best Practices beachten:
- Achten Sie darauf, dass Ihre CMEK-Schlüssel aktiviert und zugänglich bleiben. Wenn ein Schlüssel deaktiviert oder gelöscht wird, sind Dataplex Universal Catalog-Daten nicht mehr zugänglich. Wenn der Schlüssel länger als 30 Tage nicht verfügbar ist, werden die mit diesem Schlüssel verschlüsselten Daten automatisch gelöscht und können nicht wiederhergestellt werden.
- Wenn der Cloud KMS-Schlüssel gelöscht wird und nicht wiederhergestellt werden kann, gehen alle zugehörigen Dataplex Universal Catalog-Daten dauerhaft verloren.
- Wenn Cloud KMS vorübergehend nicht verfügbar ist, unterstützt Dataplex Universal Catalog weiterhin vollständige Vorgänge nach dem Best-Effort-Prinzip für bis zu einer Stunde. Danach sind die Daten vorübergehend nicht mehr zugänglich.
- Wenn Sie Cloud EKM verwenden, hat Google keine Kontrolle über die Verfügbarkeit Ihrer extern verwalteten Schlüssel. Eine kurzfristige Nichtverfügbarkeit des Schlüssels führt zu einem vorübergehenden Datenverlust. Wenn ein Schlüssel 30 Tage lang nicht verfügbar ist, führt dies zu einem dauerhaften Datenverlust.
- Nachdem Sie CMEK aktiviert haben, sollten Sie Projekte nicht von einer Organisation in eine andere verschieben, da dies zu Datenverlust führt.
Verfügbarkeit von Dataplex Universal Catalog
In den folgenden Abschnitten werden der Prozess und die erwarteten betrieblichen Auswirkungen beschrieben, wenn Sie CMEK für Ihre Dataplex Universal Catalog-Organisation aktivieren.
Erste Infrastrukturbereitstellung
Nachdem Sie die Verschlüsselungskonfiguration gespeichert haben, richtet Dataplex Universal Catalog die erforderliche Infrastruktur ein. Dieser Vorgang dauert in der Regel 6 bis 8 Stunden. Während dieser Bereitstellungsphase haben Sie weiterhin vollen Zugriff auf alle Funktionen des Dataplex Universal Catalog und die Daten bleiben durch die von Google verwaltete Verschlüsselung verschlüsselt. Wenn die Organisationsrichtlinie constraints/gcp.restrictNonCmekServices
festgelegt ist, schlagen Anfragen zur Ressourcenerstellung fehl, bis die Bereitstellungsphase abgeschlossen ist.
Datenverschlüsselung und API-Verfügbarkeit
Nach der Bereitstellung der Infrastruktur beginnt Dataplex Universal Catalog mit der Verschlüsselung vorhandener Daten, die in der Organisation gespeichert sind. Um die Datenintegrität zu gewährleisten und potenzielle Inkonsistenzen während dieses Verschlüsselungsprozesses zu vermeiden, sind die Dataplex Universal Catalog API-Methoden vorübergehend nicht verfügbar. Diese Einschränkung verhindert Datenaktualisierungsvorgänge. Wenn Sie CMEK für Dataplex Universal Catalog aktivieren, werden alle vorhandenen Daten verschlüsselt. Dieser einmalige Vorgang dauert schätzungsweise bis zu zwei Stunden.
Vorgänge nach der Verschlüsselung
Nachdem die vorhandenen Daten verschlüsselt wurden, sind die Dataplex Universal Catalog API-Methoden vollständig verfügbar. Das Erstellen oder Ändern von Daten in Dataplex Universal Catalog wird automatisch mit dem konfigurierten CMEK verschlüsselt, ohne dass es zu Betriebsunterbrechungen oder API-Einschränkungen kommt.
Schlüssel erstellen und CMEK aktivieren
In der folgenden Anleitung wird beschrieben, wie Sie einen Schlüssel erstellen und CMEK für Dataplex Universal Catalog aktivieren. Sie können einen Schlüssel verwenden, der direkt in Cloud KMS erstellt wurde, oder einen extern verwalteten Schlüssel, den Sie mit Cloud EKM zur Verfügung stellen.
Gehen Sie im Google Cloud Projekt, in dem Sie Ihre Schlüssel verwalten möchten, so vor:
Erstellen Sie einen Cloud KMS-Schlüsselbund an dem Speicherort, an dem Sie ihn verwenden möchten.
Erstellen Sie einen Schlüssel mit einer der folgenden Optionen:
Von Google verwaltetes Dienstkonto erstellen und anzeigen:
gcloud beta services identity create \ --service=dataplex.googleapis.com \ --organization=ORG_ID
Ersetzen Sie ORG_ID durch die ID der Organisation, die den Schlüssel enthält.
Wenn Sie aufgefordert werden, die Komponente „Google Cloud CLI-Betabefehle“ zu installieren, geben Sie
Y
ein.Mit dem gcloud CLI-Befehl
services identity
wird das spezifische von Google verwaltete Dienstkonto erstellt oder abgerufen, das Dataplex Universal Catalog für den Zugriff auf den Cloud KMS-Schlüssel verwenden kann.Die Dienstkonto-ID hat das Format
service-org-ORG_ID@gcp-sa-dataplex.iam.gserviceaccount.com
. Außerdem wird ein CMEK-spezifisches Dienstkonto im Formatservice-org-ORG_ID@gcp-sa-dataplex-cmek.iam.gserviceaccount.com
erstellt. Das CMEK-spezifische Dienstkonto wird zum Verschlüsseln und Entschlüsseln von Daten verwendet, die in Dataplex Universal Catalog gespeichert sind. Wenn Sie VPC Service Controls für den Cloud KMS-Schlüssel verwenden, müssen Sie dem CMEK-spezifischen Dienstkonto mit einer Eingangsregel Zugriff gewähren.Weisen Sie dem Dataplex Universal Catalog-Dienstkonto die IAM-Rolle „CryptoKey-Verschlüsseler/Entschlüsseler“ (
roles/cloudkms.cryptoKeyEncrypterDecrypter
) zu. Erteilen Sie diese Berechtigung für den von Ihnen erstellten Schlüssel.Console
Rufen Sie die Seite Schlüsselverwaltung auf.
Klicken Sie auf den Schlüsselbund.
Klicken Sie in der Liste der verfügbaren Schlüssel auf den Schlüssel, den Sie erstellt haben.
Klicken Sie auf den Tab Berechtigungen.
Klicken Sie auf Zugriff erlauben.
Führen Sie im Bereich Zugriff gewähren, der sich öffnet, die folgenden Schritte aus, um Zugriff auf das Dienstkonto von Dataplex Universal Catalog zu gewähren:
- Geben Sie unter Hauptkonten hinzufügen das Dienstkonto
service-org-ORG_ID@gcp-sa-dataplex.iam.gserviceaccount.com
ein. - Wählen Sie unter Rollen zuweisen die Rolle „Cloud KMS CryptoKey-Verschlüsseler/Entschlüsseler“ aus.
- Klicken Sie auf Speichern.
- Geben Sie unter Hauptkonten hinzufügen das Dienstkonto
gcloud
Weisen Sie dem Dienstkonto die Rolle
cloudkms.cryptoKeyEncrypterDecrypter
zu:gcloud kms keys add-iam-policy-binding KEY_NAME \ --location=LOCATION \ --keyring KEY_RING \ --project=KEY_PROJECT_ID \ --member serviceAccount:service-org-ORG_ID@gcp-sa-dataplex.iam.gserviceaccount.com \ --role roles/cloudkms.cryptoKeyEncrypterDecrypter
Ersetzen Sie Folgendes:
- KEY_NAME: der Schlüsselname
- LOCATION: der Standort
- KEY_RING: der Schlüsselbund
- KEY_PROJECT_ID: die Schlüsselprojekt-ID
Weisen Sie sich selbst die Rolle „Dataplex Encryption Admin“ zu.
Console
Folgen Sie der Anleitung zum Zuweisen einer IAM-Rolle.
gcloud
gcloud organizations add-iam-policy-binding ORG_ID \ --member='user:USER_EMAIL' \ --role='roles/dataplex.encryptionAdmin'
Ersetzen Sie Folgendes:
- ORG_ID: die ID der Organisation, die den Schlüssel enthält.
- USER_EMAIL: die E-Mail-Adresse des Nutzers.
Konfigurieren Sie Dataplex Universal Catalog für die Verwendung Ihres CMEK-Schlüssels.
Console
Rufen Sie in der Google Cloud Console die Seite Dataplex auf.
Klicken Sie auf Einstellungen.
Wählen Sie unter Region für CMEK auswählen eine Region aus. Die ausgewählte Region muss mit dem Standort des Cloud KMS-Schlüssels übereinstimmen.
Wählen Sie unter Verschlüsselungsschlüssel auswählen den von Ihnen erstellten Schlüssel aus.
Klicken Sie auf Speichern.
Die Datenverschlüsselung dauert eine Weile. Wenn der Vorgang abgeschlossen ist, wird die folgende Meldung angezeigt:
Data Encryption is complete. Your selected CMEK key is now protecting your data.
gcloud
Verschlüsselungskonfiguration in Dataplex Universal Catalog festlegen:
gcloud dataplex encryption-config create default \ --location=LOCATION \ --organization=ORG_ID \ --key=KEY_RESOURCE_ID
Ersetzen Sie Folgendes:
- ORG_ID: die ID der Organisation, die den Schlüssel enthält.
- KEY_RESOURCE_ID: die Schlüsselressourcen-ID, z. B.
projects/PROJECT_ID/locations/LOCATION/keyRings/KEY_RING/cryptoKeys/KEY_NAME
. Ersetzen Sie PROJECT_ID durch die Schlüsselprojekt-ID.
Prüfen Sie, ob die Verschlüsselung abgeschlossen ist:
gcloud dataplex encryption-config describe default \ --location=LOCATION \ --organization=ORG_ID
Die Datenverschlüsselung dauert eine Weile. Wenn der Vorgang abgeschlossen ist, wird die folgende Meldung angezeigt:
encryptionState: COMPLETED
.
Logging und Monitoring
Sie können Dataplex Universal Catalog-Anfragen an Cloud KMS prüfen, indem Sie Audit-Logging für die Cloud KMS API aktivieren.
CMEK-Organisationsrichtlinien
Google Cloud bietet Einschränkungen für Organisationsrichtlinien, um die CMEK-Nutzung zu erzwingen und die zulässigen Cloud KMS-Schlüssel in Ihrer Organisation zu steuern. Diese Einschränkungen tragen dazu bei, dass Daten im Dataplex Universal Catalog einheitlich durch CMEK geschützt werden.
constraints/gcp.restrictNonCmekServices
erzwingt die obligatorische CMEK-Nutzung für Dataplex Universal Catalog-Ressourcen.Wenn Sie
dataplex.googleapis.com
der Liste der Google Cloud Dienstnamen hinzufügen und die Einschränkung aufDeny
festlegen, wird die Erstellung von Dataplex Universal Catalog-Ressourcen ohne CMEK-Schutz verhindert.Wenn in den CMEK-Verschlüsselungseinstellungen kein Cloud KMS-Schlüssel für den angeforderten Speicherort angegeben ist, schlagen Anfragen zum Erstellen von Ressourcen in Dataplex Universal Catalog fehl.
Diese Richtlinie wird auf Projektebene für die einzelnen Ressourcen validiert.
constraints/gcp.restrictCmekCryptoKeyProjects
beschränkt die Auswahl von Cloud KMS-Schlüsseln für CMEK auf bestimmte Ressourcenhierarchien.Wenn Sie eine Liste von Indikatoren für die Ressourcenhierarchie (Projekte, Ordner oder Organisationen) konfigurieren und die Einschränkung auf
Allow
festlegen, kann Dataplex Universal Catalog CMEK-Schlüssel nur von den angegebenen Standorten verwenden.Wenn ein Cloud KMS-Schlüssel aus einem nicht zulässigen Projekt angegeben wird, schlagen Anfragen zum Erstellen von CMEK-geschützten Ressourcen in Dataplex Universal Catalog fehl.
Diese Richtlinie wird bei der Ressourcenerstellung auf Ebene des Ressourcenprojekts validiert.
Diese Richtlinie wird auf Organisationsebene validiert, wenn CMEK-Verschlüsselungseinstellungen konfiguriert werden.
Achten Sie darauf, dass Konfigurationen auf Projektebene mit organisationsweiten Richtlinien übereinstimmen, um Inkonsistenzen zu vermeiden.
Weitere Informationen zum Konfigurieren von Organisationsrichtlinien finden Sie unter CMEK-Organisationsrichtlinien.