Proteger o lake

Neste documento, descrevemos como proteger e gerenciar o acesso a lakes do Dataplex Universal Catalog.

Com o modelo de segurança do Dataplex Universal Catalog, é possível gerenciar as permissões de usuário para as seguintes tarefas:

  • Administrar um data lake (criar e anexar recursos, zonas e outros data lakes)
  • Acessar dados conectados a um lake pelo recurso de mapeamento (por exemplo, recursosGoogle Cloud , como buckets do Cloud Storage e conjuntos de dados do BigQuery)
  • Como acessar metadados sobre os dados conectados a um lake

Um administrador de um data lake controla o acesso aos recursos do Dataplex Universal Catalog, como data lake, zona e recursos, concedendo papéis básicos e predefinidos.

Papéis básicos

Papel Descrição
Leitor do Dataplex
(roles/dataplex.viewer)		 Capacidade de visualizar (mas não editar) o lake e as zonas e recursos configurados.
Editor do Dataplex
(roles/dataplex.editor)		 Capacidade de editar o lake. Pode criar e configurar lakes, zonas, recursos e tarefas.
Administrador do Dataplex
(roles/dataplex.administrator)		 Capacidade de administrar totalmente um lake.
Desenvolvedor do Dataplex
(roles/dataplex.developer)		 Capacidade de executar cargas de trabalho de análise de dados em um lake. *
* Para consultar uma tabela do BigQuery, você precisa da permissão para executar um job do BigQuery. Defina essa permissão no projeto que você quer atribuir ou cobrar pelo gasto de computação do job. Para mais informações, consulte Papéis e permissões predefinidas do BigQuery.
Para executar um job do Spark, crie clusters do Dataproc e envie jobs do Dataproc no projeto a que você quer atribuir a computação.

Papéis predefinidos

Google Cloud gerencia os papéis predefinidos que fornecem acesso granular ao Dataplex Universal Catalog.

Papéis de metadados

Com as funções de metadados, é possível ver metadados, como esquemas de tabelas.

Papel Descrição
Gravador de metadados do Dataplex
(roles/dataplex.metadataWriter)		 Capacidade de atualizar os metadados de um determinado recurso.
Leitor de metadados do Dataplex
(roles/dataplex.metadataReader)		 Capacidade de ler os metadados (por exemplo, para consultar uma tabela).

Funções de dados

Ao conceder papéis de dados a um principal, ele pode ler ou gravar dados nos recursos subjacentes apontados pelos recursos do data lake.

O Dataplex Universal Catalog mapeia as funções dele para as funções de dados de cada recurso de armazenamento subjacente, como o Cloud Storage e o BigQuery.

O Dataplex Universal Catalog traduz e propaga as funções de dados do Dataplex Universal Catalog para o recurso de armazenamento subjacente, definindo as funções corretas para cada recurso de armazenamento. É possível conceder uma única função de dados do Catálogo Universal do Dataplex na hierarquia do lake (por exemplo, um lake), e o Catálogo Universal do Dataplex mantém o acesso especificado aos dados em todos os recursos conectados a esse lake (por exemplo, buckets do Cloud Storage e conjuntos de dados do BigQuery são referenciados por recursos nas zonas subjacentes).

Por exemplo, conceder a um principal o papel dataplex.dataWriter para um lake dá a ele acesso de gravação a todos os dados dentro do lake, das zonas e dos recursos subjacentes. As funções de acesso a dados concedidas em um nível inferior (zona) são herdadas na hierarquia do lake para os recursos subjacentes.

Papel Descrição
Leitor de dados do Dataplex
(roles/dataplex.dataReader)		 Capacidade de ler dados do armazenamento anexado a recursos, incluindo buckets de armazenamento e conjuntos de dados do BigQuery (e seus conteúdos). *
Gravador de dados do Dataplex
(roles/dataplex.dataWriter)		 Capacidade de gravar nos recursos subjacentes apontados pelo recurso. *
Proprietário de dados do Dataplex
(roles/dataplex.dataOwner)		 Concede o papel de proprietário aos recursos subjacentes, incluindo a capacidade de gerenciar recursos filhos. Por exemplo, como proprietário de dados de um conjunto de dados do BigQuery, você pode gerenciar as tabelas subjacentes.

Proteger o lake

É possível proteger e gerenciar o acesso ao lake e aos dados anexados a ele. No console Google Cloud , use uma das seguintes visualizações:

  • A visualização Gerenciar do Dataplex Universal Catalog na guia Permissões
  • A visualização Segura do Dataplex Universal Catalog

Como usar a visualização Gerenciar

Na guia Permissões, você gerencia todas as permissões em um recurso de lake e tem uma visão sem filtro de todas as permissões, incluindo as herdadas.

Para proteger seu lake, siga estas etapas:

  1. No console Google Cloud , acesse a página Lakes do Universal Catalog do Dataplex.

    Acessar lagos

  2. Clique no nome do lake que você criou.

  3. Clique na guia Permissões.

  4. Clique na guia Visualizar por papéis.

  5. Clique em Adicionar para incluir um novo papel. Adicione os papéis Leitor de dados do Dataplex, Gravador de dados e Proprietário de dados.

  6. Verifique se os papéis Leitor de dados do Dataplex, Gravador de dados e Proprietário de dados aparecem.

Como usar a visualização Seguro

A visualização Segura do Dataplex Universal Catalog no console do Google Cloud oferece o seguinte:

  • Uma visualização filtrável apenas das funções do Dataplex Universal Catalog que estão centradas em um recurso específico.
  • Separar as funções de dados das funções de recursos do data lake
Exemplo de permissões de dados que não são herdadas de recursos de nível superior do data lake
Figura 1: neste exemplo de um data lake, os dois principais têm permissões de dados no recurso chamado Dados do Cloud Storage (dados do GCS). Essas permissões não são herdadas de recursos de lake de nível superior.


Exemplo de permissões que não são herdadas de recursos de nível superior do data lake
Figura 2: este exemplo mostra:
  1. Uma conta de serviço que herda o papel de administrador do Dataplex do projeto.
  2. Principais (endereço de e-mail) que herdam os papéis de editor e leitor do Dataplex do projeto. São os papéis que se aplicam a todos os recursos.
  3. Um principal (endereço de e-mail) que herda a função de administrador do Dataplex do projeto.

Gerenciamento de políticas

Depois que você especifica a política de segurança, o Dataplex Universal Catalog propaga as permissões para as políticas do IAM dos recursos gerenciados.

A política de segurança configurada no nível do lake é propagada para todos os recursos gerenciados nele. O Dataplex Universal Catalog oferece status de propagação e visibilidade dessas propagação em grande escala na guia Gerenciar > Permissões do Dataplex Universal Catalog. Ele monitora continuamente os recursos gerenciados para detectar mudanças na política do IAM fora do Dataplex Universal Catalog.

Os usuários que já têm permissões em um recurso continuam com elas depois que um recurso é anexado a um lake do Dataplex Universal Catalog. Da mesma forma, as vinculações de função que não são do Dataplex Universal Catalog criadas ou atualizadas depois de anexar o recurso ao Dataplex Universal Catalog permanecem as mesmas.

Definir políticas no nível da coluna, da linha e da tabela

Os recursos de bucket do Cloud Storage têm tabelas externas do BigQuery associadas a eles.

É possível fazer upgrade de um recurso de bucket do Cloud Storage, o que significa que o Universal Catalog do Dataplex remove as tabelas externas anexadas e anexa tabelas do BigLake.

É possível usar tabelas do BigLake em vez de tabelas externas para ter um controle de acesso refinado, incluindo controles no nível da linha, controles no nível da coluna e mascaramento de dados da coluna.

Segurança de metadados

Os metadados se referem principalmente às informações de esquema associadas aos dados do usuário presentes em recursos gerenciados por um lake.

A descoberta do Dataplex Universal Catalog examina os dados em recursos gerenciados e extrai informações de esquema tabular. Essas tabelas são publicadas nos sistemas BigQuery, metastore do Dataproc e Data Catalog (descontinuado).

BigQuery

Cada tabela descoberta tem uma tabela associada registrada no BigQuery. Para cada zona, há um conjunto de dados do BigQuery associado em que todas as tabelas externas relacionadas às tabelas descobertas nessa zona de dados são registradas.

As tabelas descobertas hospedadas no Cloud Storage são registradas no conjunto de dados criado para a zona.

Dataproc Metastore

Os bancos de dados e as tabelas são disponibilizados no metastore do Dataproc associado à instância do data lake do Dataplex Universal Catalog. Cada zona de dados tem um banco de dados associado, e cada recurso pode ter uma ou mais tabelas associadas.

Os dados em um serviço do metastore do Dataproc são protegidos configurando sua rede VPC-SC. A instância do metastore do Dataproc é fornecida ao Catálogo Universal do Dataplex durante a criação do data lake, o que já a torna um recurso gerenciado pelo usuário.

Data Catalog

Cada tabela descoberta tem uma entrada associada no Data Catalog (descontinuado) para permitir a pesquisa e a descoberta.

O Data Catalog exige nomes de políticas do IAM durante a criação de entradas. Por isso, o Dataplex Universal Catalog fornece o nome da política do IAM do recurso de recurso do Dataplex Universal Catalog a que a entrada precisa ser associada. Como resultado, as permissões na entrada do Dataplex Universal Catalog são determinadas pelas permissões no recurso de recurso. Conceda os papéis de leitor de metadados do Dataplex (roles/dataplex.metadataReader) e gravador de metadados do Dataplex (roles/dataplex.metadataWriter) no recurso de recurso.

A seguir