Criptografar dados com chaves de criptografia gerenciadas pelo cliente

Por padrão, o metastore do Dataproc criptografa o conteúdo do cliente em repouso. O metastore do Dataproc processa a criptografia para você sem que você precise fazer nada. Essa opção é chamada de Criptografia padrão do Google.

Se você quiser controlar suas chaves de criptografia, use chaves de criptografia gerenciadas pelo cliente (CMEKs) no Cloud KMS com serviços integrados a CMEKs, incluindo o metastore do Dataproc. O uso de chaves do Cloud KMS permite controlar o nível de proteção, o local, a programação de rotação, as permissões de uso e acesso e os limites criptográficos. O uso do Cloud KMS também permite visualizar registros de auditoria e controlar ciclos de vida importantes. Em vez de o Google ser proprietário e gerente de chaves de criptografia de chaves (KEKs) simétricas que protegem seus dados, você controla e gerencia essas chaves no Cloud KMS.

Depois de configurar os recursos com CMEKs, a experiência de acesso aos recursos do Dataproc Metastore é semelhante à criptografia padrão do Google. Para mais informações sobre suas opções de criptografia, consulte Chaves de criptografia gerenciadas pelo cliente (CMEK).

Antes de começar

• Ative o metastore do Dataproc.
• Crie um serviço Metastore do Dataproc.

Considerações

Considere os seguintes pontos ao usar o metastore do Dataproc com CMEK.

• A CMEK é compatível com serviços do metastore do Dataproc de região única e multirregião (Visualização).

• O banco de dados do Cloud Monitoring não é compatível com criptografia CMEK. Em vez disso, oGoogle Cloud usa chaves de criptografia do Google para proteger os nomes e as configurações dos seus serviços do metastore do Dataproc.

• Se você quiser que o serviço metastore do Dataproc seja executado dentro de um perímetro do VPC Service Controls, adicione a API Cloud Key Management Service (Cloud KMS) ao perímetro.

• Quando você usa uma chave do Cloud External Key Manager, o Google não tem controle sobre a disponibilidade da sua chave gerenciada externamente. Se a chave ficar indisponível durante o período de criação do serviço Metastore do Dataproc, a criação vai falhar. Depois que um serviço do metastore do Dataproc é criado, se a chave ficar indisponível, o serviço também ficará indisponível até que a chave esteja disponível novamente. Para mais considerações ao usar chaves externas, consulte Considerações sobre o Cloud EKM.

Limitações

Considere as seguintes limitações ao usar o metastore do Dataproc com CMEK.

• Não é possível ativar a CMEK em um serviço atual.

• Não é possível alternar CMEKs usadas por um serviço ativado para CMEK.

• Não é possível usar CMEKs para criptografar dados do usuário em trânsito, como consultas e respostas.

Configurar a CMEK para o metastore do Dataproc

Se você ainda não tiver uma chave do Cloud KMS, crie uma para o serviço Metastore do Dataproc. Caso contrário, pule esta etapa e use uma chave existente.

Opcional: criar uma chave do Cloud KMS

Para criar uma chave do Cloud KMS, primeiro crie um keyring e depois uma chave armazenada dentro dele.

Para criar um keyring

Para criar um keyring, execute o seguinte comando gcloud kms keyrings create:

gcloud kms keyrings create KEY_RING \
  --project=PROJECT_ID \
  --location=LOCATION

Substitua:

• KEY_RING: um nome para o keyring.
• PROJECT_ID: o ID do Google Cloud projeto em que você quer criar o keyring.
• LOCATION: a região em que você quer criar o keyring.

Para criar uma chave

Para criar uma chave armazenada no keyring, execute o seguinte comando gcloud kms keys create.

gcloud kms keys create KEY_NAME \
  --project=PROJECT_ID \
  --location=LOCATION \
  --keyring=KEY_RING \
  --purpose=encryption

Substitua:

• KEY_NAME: o nome da chave;
• KEY_RING: o nome do keyring que você criou na etapa anterior.

Conceder permissões de chave do Cloud KMS

Use os seguintes comandos para conceder permissões de chave do Cloud KMS ao metastore do Dataproc:

1. Conceda permissões à conta de serviço do agente de serviço do metastore do Dataproc:

   Se você for configurar a CMEK para um serviço de metastore do Dataproc multirregional, conceda a cada chave as permissões necessárias do Cloud KMS para as contas de serviço do metastore do Dataproc e do Cloud Storage.

     gcloud kms keys add-iam-policy-binding KEY_NAME \
       --location LOCATION \
       --keyring KEY_RING \
       --member=serviceAccount:$(gcloud beta services identity create \
       --service=metastore.googleapis.com 2>&1 | awk '{print $4}') \
       --role=roles/cloudkms.cryptoKeyEncrypterDecrypter

1. Conceda permissões à conta de serviço do Cloud Storage:

     gcloud storage service-agent --authorize-cmek projects/KEY_PROJECT/locations/LOCATION/keyRings/KEY_RING/cryptoKeys/KEY_NAME

Criar um serviço de região única com uma chave CMEK

Siga estas etapas para configurar a criptografia CMEK em um serviço do metastore do Dataproc de região única.

Criar um serviço multirregional com uma chave CMEK

Para serviços de CMEK do metastore multirregional do Dataproc, é necessário fornecer várias chaves de criptografia. Isso inclui uma chave para cada região constituinte do serviço multirregional do Dataproc Metastore: uma chave para a região testemunha do Spanner e uma chave para o continente.

Para receber informações sobre seu serviço multirregional e as regiões em que ele está configurado, execute o seguinte comando.

gcloud metastore locations describe LOCATION

• Substitua LOCATION pela multirregião em que você criou o serviço Metastore do Dataproc.

Para criar um serviço multirregional com uma chave CMEK

Siga estas etapas para configurar a criptografia CMEK em um serviço do Dataproc Metastore multirregional.

gcloud beta metastore services create SERVICE \
    --location=LOCATION \
    --instance-size=INSTANCE_SIZE \
    --encryption-kms-keys=KMS_KEY1,KMS_KEY2,KMS_KEY_WITNESS,KMS_KEY_CONTINENT

Importar e exportar dados de e para um serviço ativado para CMEK

Se quiser que os dados permaneçam criptografados com uma chave gerenciada pelo cliente durante uma importação, será necessário definir CMEK no bucket do Cloud Storage antes de importar dados dela.

É possível importar de um bucket do Cloud Storage não protegido por CMEK. Após a importação, os dados armazenados no Metastore do Dataproc são protegidos de acordo com as configurações de CMEK do serviço de destino.

Durante a exportação, o despejo do banco de dados exportado é protegido de acordo com as configurações de CMEK do bucket de armazenamento de destino.

A seguir

• Importar metadados para um serviço