Habilitar claves de encriptación administradas por el cliente

En este documento, se describe cómo encriptar los datos del catálogo universal de Dataplex con claves de encriptación administradas por el cliente (CMEK).

Descripción general

De forma predeterminada, Dataplex Universal Catalog encripta el contenido del cliente almacenado en reposo. Dataplex Universal Catalog controla la encriptación por ti sin que debas realizar ninguna acción adicional. Esta opción se denomina Encriptación predeterminada de Google.

Si deseas controlar tus claves de encriptación, puedes usar las claves de encriptación administradas por el cliente (CMEK) en Cloud KMS con servicios integrados en CMEK, incluido el Catálogo universal de Dataplex. El uso de claves de Cloud KMS te permite controlar su nivel de protección, ubicación, programa de rotación, permisos de uso y acceso, y límites criptográficos. El uso de Cloud KMS también te permite hacer un seguimiento del uso de las claves, ver los registros de auditoría y controlar los ciclos de vida de las claves. En lugar de que Google posea y administre las claves de encriptación de claves (KEK) simétricas que protegen tus datos, tú las controlas y administras en Cloud KMS.

Después de configurar tus recursos con CMEK, la experiencia de acceso a tus recursos de Dataplex Universal Catalog es similar a usar la encriptación predeterminada de Google. Para obtener más información sobre tus opciones de encriptación, consulta Claves de encriptación administradas por el cliente (CMEK).

Dataplex Universal Catalog usa un CMEK por ubicación para todos los recursos de Dataplex Universal Catalog.

Puedes configurar una clave de CMEK a nivel de la organización en Dataplex Universal Catalog.

Para obtener más información sobre las CMEK en general, incluso cuándo y por qué habilitarlas, consulta Claves de encriptación administradas por el cliente (CMEK).

Beneficios de CMEK

La CMEK te permite hacer lo siguiente:

  • Administra las operaciones del ciclo de vida de las claves y los permisos de acceso.
  • Realiza un seguimiento del uso de las claves con la API de Key Inventory y los paneles de uso de claves en Cloud KMS, que te permiten ver, por ejemplo, qué claves protegen qué recursos. Cloud Logging te indica cuándo se accedió a las claves y quién lo hizo.
  • Administra tus claves de encriptación para cumplir con requisitos regulatorios específicos.

Cómo funcionan las CMEK con Dataplex Universal Catalog

Los administradores de encriptación de Dataplex Universal Catalog en tu Google Cloud proyecto pueden configurar las CMEK para Dataplex Universal Catalog si proporcionan la clave de Cloud KMS. Luego, Dataplex Universal Catalog usa la clave de Cloud KMS especificada para encriptar todos los datos, incluidos los existentes y los recursos nuevos creados en Dataplex Universal Catalog.

Funciones admitidas

  • Dataplex Universal Catalog admite la encriptación de CMEK para las siguientes funciones:
  • Data Lineage no almacena contenido principal del cliente ni datos sensibles y, por lo tanto, no requiere encriptación de CMEK.
  • Los clientes de Assured Workloads no pueden usar otras funciones de Dataplex Universal Catalog porque no se admite la encriptación de CMEK.
  • Los clientes que no usan Assured Workloads pueden usar otras funciones, pero los datos se encriptan con la encriptación predeterminada de Google.

Consideraciones

  • De forma predeterminada, cada organización se aprovisiona con la encriptación predeterminada de Google.
  • El administrador de la organización puede cambiar a CMEK en Dataplex Universal Catalog para cualquier ubicación.
  • El Catálogo universal de Dataplex admite claves de Cloud KMS, claves de Cloud HSM y claves de Cloud External Key Manager.
  • Se admite la rotación de claves y, una vez que esté disponible, la nueva versión de la clave se usará automáticamente para la encriptación de datos. Los datos existentes también se encriptan con esta versión nueva.
  • Dataplex Universal Catalog retiene las copias de seguridad de los datos durante un máximo de 15 días. Todas las copias de seguridad que se creen después de habilitar CMEK se encriptarán con la clave de KMS especificada. Los datos de los que se haya creado una copia de seguridad antes de habilitar CMEK permanecerán encriptados con la encriptación predeterminada de Google durante un máximo de 15 días.

Limitaciones

  • El cambio a CMEK es un proceso irreversible. Después de elegir CMEK, no puedes volver a la encriptación predeterminada de Google.
  • Una vez que se configura una clave de Cloud KMS para Dataplex Universal Catalog, no se puede actualizar ni cambiar.
  • Dataplex Universal Catalog solo admite encriptación a nivel de la organización. Como resultado, la configuración de encriptación se establece a nivel de la organización para una ubicación determinada y se usa para encriptar los datos de Dataplex Universal Catalog de todos los proyectos dentro de esa organización y ubicación. La encriptación de CMEK no es compatible con proyectos específicos de una organización o carpeta. La configuración de las políticas de la organización relacionadas con las CMEK requiere una consideración cuidadosa.
  • Dataplex Universal Catalog no admite CMEK en la región global.
  • La protección de CMEK no está disponible para los metadatos capturados en aspectos y glosarios.

Protege tus claves de encriptación

Para garantizar el acceso continuo a los datos encriptados por CMEK, sigue estas prácticas recomendadas:

  • Asegúrate de que tus claves CMEK permanezcan habilitadas y accesibles. Si se inhabilita o destruye una clave, los datos de Dataplex Universal Catalog se vuelven inaccesibles. Si la clave no está disponible durante más de 30 días, los datos encriptados con esa clave se borran automáticamente y no se pueden recuperar.
  • Si se destruye la clave de Cloud KMS y no se puede recuperar, se perderán de forma permanente todos los datos asociados del Catálogo universal de Dataplex.
  • En los casos en que Cloud KMS no esté disponible temporalmente, Dataplex Universal Catalog seguirá admitiendo operaciones completas según el criterio del mejor esfuerzo durante una hora como máximo. Después de este período, los datos dejarán de estar disponibles temporalmente como medida de protección.
  • Cuando uses Cloud EKM, ten en cuenta que Google no controla la disponibilidad de tus claves administradas de forma externa. La falta de disponibilidad de claves a corto plazo genera inaccesibilidad temporal a los datos. La falta de disponibilidad de una clave que persiste durante 30 días provoca la pérdida permanente de datos.
  • Después de habilitar CMEK, no muevas proyectos de una organización a otra, ya que esta acción provocará la pérdida de datos.

Disponibilidad de Dataplex Universal Catalog

En las siguientes secciones, se describe el proceso y el impacto operativo esperado cuando habilitas las CMEK para tu organización de Dataplex Universal Catalog.

Aprovisionamiento inicial de infraestructura

Después de guardar la configuración de encriptación, Dataplex Universal Catalog configura la infraestructura necesaria. Por lo general, este proceso tarda entre 6 y 8 horas. Durante esta fase de aprovisionamiento, retienes el acceso completo a todas las funciones y funcionalidades de Dataplex Universal Catalog, y los datos permanecen encriptados a través de la encriptación administrada por Google. Si se configura la política de la organización constraints/gcp.restrictNonCmekServices, las solicitudes de creación de recursos fallan hasta que se completa la fase de aprovisionamiento.

Encriptación de datos y disponibilidad de la API

Después del aprovisionamiento de la infraestructura, Dataplex Universal Catalog comienza a encriptar los datos existentes almacenados en la organización. Para garantizar la integridad de los datos y evitar posibles inconsistencias durante este proceso de encriptación, los métodos de la API de Dataplex Universal Catalog no están disponibles temporalmente. Esta restricción impide las operaciones de actualización de datos. Cuando activas las CMEK para Dataplex Universal Catalog por primera vez, se encriptan todos los datos existentes. Se estima que esta operación única puede tardar hasta dos horas.

Operaciones posteriores a la encriptación

Después de completar correctamente la encriptación de datos existente, los métodos de la API de Dataplex Universal Catalog estarán disponibles por completo. La creación o modificación de datos dentro de Dataplex Universal Catalog se encripta automáticamente con la CMEK configurada, sin interrupciones operativas ni restricciones de API.

Crea una clave y habilita CMEK

En las siguientes instrucciones, se explica cómo crear una clave y habilitar CMEK para el catálogo universal de Dataplex. Puedes usar una clave creada directamente en Cloud KMS o una clave administrada de forma externa que pongas a disposición con Cloud EKM.

  1. En el proyecto Google Cloud en el que deseas administrar tus claves, haz lo siguiente:

    1. Habilita la API de Cloud Key Management Service.

    2. Crea un llavero de claves de Cloud KMS en la ubicación en la que deseas usarlo.

    3. Crea una clave con una de las siguientes opciones:

  2. Crea y muestra la cuenta de servicio administrada por Google:

    gcloud beta services identity create \
    --service=dataplex.googleapis.com \
    --organization=ORG_ID

    Reemplaza ORG_ID por el ID de la organización que contiene la clave.

    Si se te solicita que instales el componente de comandos beta de Google Cloud CLI, ingresa Y.

    El comando services identity de gcloud CLI crea o obtiene la cuenta de servicio específica administrada por Google que el Catálogo universal de Dataplex puede usar para acceder a la clave de Cloud KMS.

    El ID de la cuenta de servicio tiene el formato service-org-ORG_ID@gcp-sa-dataplex.iam.gserviceaccount.com.

  3. Otorga la función de IAM de encriptador/desencriptador de CryptoKey (roles/cloudkms.cryptoKeyEncrypterDecrypter) a la cuenta de servicio de Dataplex Universal Catalog. Otorga este permiso en la clave que creaste.

    Console

    1. Ve a la página Administración de claves.

      Ir a Administración de claves

    2. Haz clic en el llavero de claves.

    3. En la lista de claves disponibles, haz clic en la clave que creaste.

    4. Haz clic en la pestaña Permisos.

    5. Haz clic en Otorgar acceso.

    6. En el panel Otorgar acceso que se abre, sigue estos pasos para otorgar acceso a la cuenta de servicio de Dataplex Universal Catalog:

      1. En Agregar principales, ingresa la cuenta de servicio service-org-ORG_ID@gcp-sa-dataplex.iam.gserviceaccount.com.
      2. En Asignar roles, selecciona el rol de encriptador/desencriptador de CryptoKey de Cloud KMS.
      3. Haz clic en Guardar.

    gcloud

    Otorga a la cuenta de servicio el rol cloudkms.cryptoKeyEncrypterDecrypter:

    gcloud kms keys add-iam-policy-binding KEY_NAME \
    --location=LOCATION \
    --keyring KEY_RING \
    --project=KEY_PROJECT_ID \
    --member serviceAccount:service-org-ORG_ID@gcp-sa-dataplex.iam.gserviceaccount.com \
    --role roles/cloudkms.cryptoKeyEncrypterDecrypter

    Reemplaza lo siguiente:

    • KEY_NAME: el nombre de la clave
    • LOCATION: la ubicación
    • KEY_RING: Es el llavero de claves.
    • KEY_PROJECT_ID: El ID del proyecto de claves

  4. Asóciate el rol de Administrador de encriptación de Dataplex.

    Console

    Sigue las instrucciones para otorgar un rol de IAM.

    gcloud 

    gcloud organizations add-iam-policy-binding ORG_ID \
    --member='user:USER_EMAIL' \
    --role='roles/dataplex.encryptionAdmin'

    Reemplaza lo siguiente:

    • ORG_ID: El ID de la organización que contiene la clave.
    • USER_EMAIL: La dirección de correo electrónico del usuario.

  5. Configura Dataplex Universal Catalog para que use tu clave de CMEK.

    Console

    1. En la consola de Google Cloud , ve a la página Dataplex.

      Ir a Dataplex

    2. Haz clic en Configuración.

    3. En Selecciona la región para CMEK, selecciona una región. La región que selecciones debe coincidir con la ubicación de la clave de Cloud KMS.

    4. En Seleccionar clave de encriptación, selecciona la clave que creaste.

    5. Haz clic en Guardar.

      El proceso de encriptación de datos tarda un tiempo en completarse. Cuando se complete el proceso, aparecerá el siguiente mensaje: Data Encryption is complete. Your selected CMEK key is now protecting your data.

    gcloud

    1. Establece la configuración de encriptación en Dataplex Universal Catalog:

      gcloud dataplex encryption-config create default \
    --location=LOCATION \
    --organization=ORG_ID \
    --key=KEY_RESOURCE_ID

      Reemplaza lo siguiente:

      • ORG_ID: El ID de la organización que contiene la clave.
      • KEY_RESOURCE_ID: El ID de recurso de clave, por ejemplo, projects/PROJECT_ID/locations/LOCATION/keyRings/KEY_RING/cryptoKeys/KEY_NAME. Reemplaza PROJECT_ID por el ID del proyecto clave.

    2. Verifica que se haya completado el proceso de encriptación:

      gcloud dataplex encryption-config describe default \
    --location=LOCATION \
    --organization=ORG_ID

    El proceso de encriptación de datos tarda un tiempo en completarse. Cuando se complete el proceso, aparecerá el siguiente mensaje: encryptionState: COMPLETED.

Registro y supervisión

Habilita los registros de auditoría para la API de Cloud KMS y audita las solicitudes de Dataplex Universal Catalog a Cloud KMS.

Políticas de la organización de CMEK

Google Cloud proporciona restricciones de la política de la organización para aplicar el uso de CMEK y controlar las claves de Cloud KMS permitidas en tu organización. Estas restricciones ayudan a garantizar que los datos del catálogo universal de Dataplex estén protegidos de forma coherente por CMEK.

  • constraints/gcp.restrictNonCmekServices aplica el uso obligatorio de CMEK para los recursos de Dataplex Universal Catalog.

    • Si agregas dataplex.googleapis.com a la lista de Google Cloud nombres de servicio y estableces la restricción en Deny, se prohíbe la creación de recursos de Dataplex Universal Catalog que no tengan protección de CMEK.

    • Si no se especifica una clave de Cloud KMS para la ubicación solicitada en la configuración de encriptación de CMEK, fallarán las solicitudes para crear recursos en Dataplex Universal Catalog.

    • Esta política se valida a nivel del proyecto de recursos individuales.

  • constraints/gcp.restrictCmekCryptoKeyProjects restringe la selección de claves de Cloud KMS para CMEK a jerarquías de recursos designadas.

    • Si configuras una lista de indicadores de jerarquía de recursos (proyectos, carpetas o organizaciones) y estableces la restricción en Allow, Dataplex Universal Catalog se limita a usar claves de CMEK solo desde las ubicaciones especificadas.

    • Si se proporciona una clave de Cloud KMS de un proyecto no permitido, fallarán las solicitudes para crear recursos protegidos por CMEK en Dataplex Universal Catalog.

    • Esta política se valida a nivel del proyecto de recursos durante su creación.

    • Esta política se valida a nivel de la organización cuando se configura la configuración de encriptación de CMEK.

    • Para evitar inconsistencias, asegúrate de que las configuraciones a nivel del proyecto se alineen con las políticas de toda la organización.

Para obtener más información sobre cómo configurar las políticas de la organización, consulta Políticas de la organización de CMEK.

¿Qué sigue?

  • Más información sobre CMEK.