Gerenciar recursos de dados em um lake

Nesta página, explicamos como adicionar, atualizar e remover buckets do Cloud Storage e Conjuntos de dados do BigQuery como recursos nas zonas atuais do Dataplex.

Visão geral

Um recurso é mapeado para dados armazenados no Cloud Storage ou no BigQuery. Você mapear dados armazenados em projetos separados do Google Cloud como recursos em um único em um lake. É possível anexar buckets do Cloud Storage ou Conjuntos de dados do BigQuery gerenciados dentro do lake.

Antes de começar

• Crie um lake e uma zona nele, se ainda não tiver feito isso.

• A maioria dos comandos gcloud lakes requer um local. É possível especificar o local usando a sinalização --location.

Controle de acesso

• Para remover recursos, conceda os papéis do IAM que contêm as permissões dataplex.lakes.delete, dataplex.zones.delete ou dataplex.assets.delete permissões do IAM. O Dataplex papéis específicos roles/dataplex.admin e roles/dataplex.editor pode ser usada para conceder essas permissões.

• Para adicionar recursos, conceda os papéis do IAM que contêm as permissões create - dataplex.lakes.create, dataplex.zones.create ou dataplex.assets.create. Os papéis roles/dataplex.admin e roles/dataplex.editor contêm estas permissões.

• Também é possível conceder permissões a usuários ou grupos com o roles/owner. e roles/editor papéis legados.

• Você precisa autorizar o serviço do Dataplex nos recursos que anexada ao data lake do Dataplex. A autorização é automática concedido implicitamente para recursos no projeto em que o lake é criado. Para outros projetos, autorize o serviço Dataplex nos recursos explicitamente.

Para mais informações, consulte IAM e controle de acesso do Dataplex.

Conceder papéis para buckets do Cloud Storage

Para anexar um bucket do Cloud Storage de outro projeto ao data lake, precisa conceder à conta de serviço do Dataplex (service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com, recuperados da página de detalhes do lake no console), o Dataplex papel da conta de serviço (roles/dataplex.serviceAgent) no projeto que que contém o bucket. Esse papel fornece serviço do Dataplex com o papel de pré-requisito no nível do administrador no bucket para que permissões podem ser definidas no próprio bucket.

Conceder papéis para conjuntos de dados do BigQuery

Para anexar um conjunto de dados do BigQuery de outro projeto ao lake: você precisa conceder à conta de serviço do Dataplex, Administrador do BigQuery no conjunto de dados.

Considerações sobre o VPC Service Controls

O Dataplex não viola os perímetros do VPC Service Controls. Antes ao adicionar um recurso ao lake, verifique se o bucket ou conjunto de dados subjacente está usando a mesma rede VPC Service Controls que o lake.

Para mais informações, consulte VPC Service Controls com Dataplex (em inglês).

Adicionar um recurso

É possível adicionar um bucket do Cloud Storage ou um conjunto de dados do BigQuery emitindo um método da API Dataplex lakes.zones.assets.create ou adicionar um bucket ou conjunto de dados na página "Zona de dados" aberta em um navegador local.

Se não houver sobreposição entre a região do lake do Dataplex e uma das regiões de buckets do Cloud Storage, não é possível adicionar do bucket para uma zona no lake.

Para saber mais sobre a localização da região de um do Cloud Storage e como o Dataplex lida com local de um bucket ao criar o conjunto de dados de publicação, consulte Recursos regionais.

Quando a adição é bem-sucedida, a zona de dados fica automaticamente ativa estado. Se falhar, a zona de dados será revertida para a um estado íntegro.

Fazer upgrade de um recurso de bucket do Cloud Storage

Quando você adiciona um recurso do tipo bucket do Cloud Storage, o Dataplex publica automaticamente tabelas externas do BigQuery para as tabelas hospedadas no recurso.

Ao fazer upgrade de um recurso de bucket do Cloud Storage, O Dataplex remove as tabelas externas anexadas e cria Tabelas do BigLake. As tabelas do BigLake oferecem suporte a uma segurança mais refinada, incluindo mascaramento de dados dinâmico, em nível de linha, de coluna e mascaramento de dados.

É possível fazer upgrade de um recurso de bucket do Cloud Storage no console do Google Cloud ou emitindo o método da API Dataplex Patch:

Fazer downgrade de um recurso de bucket do Cloud Storage

Quando você faz downgrade de um recurso de bucket do Cloud Storage, O Dataplex remove os arquivos tabelas do BigLake e cria em tabelas externas.

É possível fazer downgrade de um recurso de bucket do Cloud Storage no console do Google Cloud ou emitindo o método da API Dataplex Patch, com o campo readAccessMode definido como DIRECT em ResourceSpec

Remover um recurso

É possível remover um bucket do Cloud Storage ou um conjunto de dados do BigQuery no console do Google Cloud ou emitindo a API Dataplex método lakes.zones.assets.delete. Remova o recurso da zona de dados ou data lake antes de anexá-lo a um diferente.

As instruções a seguir demonstram como remover um Dataplex usando o console do Google Cloud ou a API Dataplex.

A seguir

• Saiba mais sobre como descobrir dados.
• Saiba mais sobre como criar um lake.
• Saiba mais sobre os registros de auditoria do Cloud.