Gerenciar recursos de dados em um lake

Nesta página, explicamos como adicionar, fazer upgrade e remover buckets do Cloud Storage e conjuntos de dados do BigQuery como recursos em zonas do Dataplex Universal Catalog.

Visão geral

Um recurso é mapeado para dados armazenados no Cloud Storage ou no BigQuery. É possível mapear dados armazenados em projetos Google Cloud separados como recursos em uma única zona dentro de um lake. É possível anexar buckets do Cloud Storage ou conjuntos de dados do BigQuery para serem gerenciados no lake.

Antes de começar

• Se ainda não tiver feito isso, crie um lake e uma zona nele.

• A maioria dos comandos gcloud lakes requer um local. É possível especificar o local usando a sinalização --location.

Funções exigidas

• Para remover recursos, conceda os papéis do IAM que contêm as permissões dataplex.lakes.delete, dataplex.zones.delete ou dataplex.assets.delete. Os papéis específicos do Dataplex Universal Catalog roles/dataplex.admin e roles/dataplex.editor podem ser usados para conceder essas permissões.

• Para adicionar recursos, conceda os papéis do IAM que contêm as permissões create - dataplex.lakes.create, dataplex.zones.create ou dataplex.assets.create. Os papéis roles/dataplex.admin e roles/dataplex.editor contêm essas permissões.

• Também é possível conceder permissão a usuários ou grupos usando os papéis legados roles/owner e roles/editor.

• É necessário autorizar o serviço do Dataplex Universal Catalog nos recursos que estão sendo anexados ao lake do Dataplex Universal Catalog. A autorização é concedida automaticamente e de forma implícita para recursos no projeto em que o lake é criado. Para outros projetos, autorize o serviço do Dataplex Universal Catalog em recursos explicitamente.

Para mais informações, consulte IAM e controle de acesso do Dataplex Universal Catalog.

Conceder papéis para buckets do Cloud Storage

Para anexar um bucket do Cloud Storage de outro projeto ao seu lake, conceda à conta de serviço do Dataplex Universal Catalog (service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com, recuperada na página de detalhes do lake no console) a função de conta de serviço do Dataplex Universal Catalog (roles/dataplex.serviceAgent) no projeto que contém o bucket. Essa função fornece ao serviço do Dataplex Universal Catalog a função de administrador pré-requisito no bucket para que as permissões possam ser definidas no próprio bucket.

Conceder papéis para conjuntos de dados do BigQuery

Para anexar um conjunto de dados do BigQuery de outro projeto ao seu lake, conceda à conta de serviço do Dataplex Universal Catalog o papel de administrador do BigQuery no conjunto de dados.

Considerações sobre o VPC Service Controls

O Dataplex Universal Catalog não viola os perímetros do VPC Service Controls. Antes de adicionar um recurso ao lake, verifique se o bucket ou conjunto de dados subjacente está na mesma rede do VPC Service Controls que o lake.

Para mais informações, consulte VPC Service Controls com o Dataplex Universal Catalog.

Adicionar um recurso

Se não houver sobreposição entre a região do lake do Dataplex Universal Catalog e uma das regiões dos buckets do Cloud Storage, não será possível adicionar o bucket a uma zona no lake.

Para saber mais sobre a localização regional de um recurso do Cloud Storage e como o Catálogo Universal do Dataplex processa a localização de um bucket ao criar o conjunto de dados de publicação, consulte Recursos regionais.

Para adicionar um recurso, siga estas etapas:

Quando a adição é bem-sucedida, a zona de dados entra automaticamente no estado ativo. Se falhar, a zona de dados será revertida para o estado íntegro anterior.

Fazer upgrade de um recurso de bucket do Cloud Storage

Quando você adiciona um recurso do tipo bucket do Cloud Storage, o Universal Catalog do Dataplex publica automaticamente tabelas externas do BigQuery para as tabelas hospedadas no recurso.

Ao fazer upgrade de um recurso de bucket do Cloud Storage, o Universal Catalog do Dataplex remove as tabelas externas anexadas e cria tabelas do BigLake. As tabelas BigLake oferecem suporte a uma segurança refinada melhor, incluindo mascaramento de dados dinâmicos, no nível da linha e da coluna.

Para fazer upgrade de um recurso de bucket do Cloud Storage, siga estas etapas:

Fazer downgrade de um recurso de bucket do Cloud Storage

Ao fazer downgrade de um recurso de bucket do Cloud Storage, o Dataplex Universal Catalog remove as tabelas do BigLake anexadas e cria tabelas externas.

Remover um recurso

Remova o recurso da zona ou do lago de dados antes de anexá-lo a um diferente.

Para remover um recurso, siga estas etapas:

A seguir

• Saiba mais sobre descoberta de dados.
• Saiba como criar um data lake.
• Saiba mais sobre os registros de auditoria do Cloud.