Usar o Attribute Store do catálogo universal do Dataplex

Este documento descreve como usar o repositório de atributos do catálogo universal do Dataplex.

Migrar da loja de atributos para tags e condições do IAM

Para migrar da Attribute Store, substitua a funcionalidade dela por tags, tags de política e condições do IAM.

Visão geral do Attribute Store

O repositório de atributos do catálogo universal do Dataplex é uma infraestrutura extensível que permite especificar comportamentos relacionados a políticas nos recursos associados. Os administradores do Dataplex Universal Catalog podem usar a loja de atributos para definir como determinados dados devem ser tratados, associando-os a atributos.

Com a loja de atributos, é possível adicionar vários atributos a um objeto, como uma coluna. A Attribute Store mescla os comportamentos de todos os atributos associados a um objeto e os apresenta como uma única política no recurso subjacente.

É possível definir atributos para conjuntos de dados publicados. Os conjuntos de dados publicados se referem aos conjuntos de dados criados pelo Dataplex Universal Catalog com base nas tabelas descobertas em um recurso de bucket.

Os seguintes comportamentos de política são compatíveis:

  • Especificações de recursos: especifica o acesso a um recurso, como uma tabela.
  • Especificações de coluna: especificam o acesso a uma coluna em uma tabela do BigQuery

Você pode usar a loja de atributos para definir uma hierarquia de atributos chamada taxonomia. Em uma taxonomia, um atributo filho herda especificações da hierarquia de atributos pai. As especificações do pai e do filho são mescladas em uma lista unificada, que é propagada para o recurso.

É possível usar a loja de atributos do Dataplex Universal Catalog para fazer o seguinte:

  • Criar taxonomias.
  • Crie atributos e organize-os em uma hierarquia.
  • Associe um ou mais atributos às tabelas.
  • Associe um ou mais atributos a colunas.

Terminologia

Esta seção descreve a terminologia usada neste documento.

Taxonomia de atributos

Uma taxonomia de dados é uma hierarquia de atributos. Em uma taxonomia, os atributos nos nós principais permitem que os atributos abaixo deles (atributos filhos) herdem e adicionem as especificações de comportamento dos atributos principais aos próprios.

Por exemplo, se um atributo chamado PII tiver uma especificação de recurso group-a@company.com e um atributo filho de PII chamado Social Security numbers tiver uma especificação de recurso group-b@company.com, as especificações de recurso aplicadas às políticas em que o atributo Social Security numbers está associado serão group-a@company.com e group-b@company.com.

Ao definir um atributo, você pode escolher se ele é um atributo principal ou secundário. Ao definir um atributo filho, é preciso especificar o atributo pai.

Especificações de coluna

As especificações de comportamento para colunas. Ele especifica pessoas ou grupos que têm acesso de leitura às colunas. Se você associar um atributo que contém uma especificação de coluna à coluna de uma tabela, uma tag de política de coluna do BigQuery será adicionada a essa coluna.

Especificações dos recursos

As permissões para pessoas ou grupos acessarem recursos (tabelas). Se você associar um atributo à especificação de recurso, o Dataplex Universal Catalog vai propagar os papéis do IAM aos usuários especificados para acessar as tabelas associadas ao atributo.

Antes de começar

Limitações

O Catálogo Universal do Dataplex propaga as políticas de especificação de coluna como tags de política do BigQuery. O BigQuery tem uma limitação de uma tag de política por coluna. Se uma tag de política já existir em uma coluna, o Dataplex Universal Catalog vai gerar um erro no registro de governança na guia Gerenciar.

Cotas

Estas são as cotas e os limites aplicáveis à loja de atributos do Dataplex Universal Catalog:

Limite Padrão
Número máximo de taxonomias em uma região 100
Número máximo de atributos em todas as taxonomias em uma região 10.000
Número máximo de atributos que podem ser associados a um recurso (tabela) 50
Número máximo de atributos que podem ser associados a uma coluna 100
Profundidade máxima por árvore de atributos de dados em uma taxonomia de atributos 4

Funções exigidas

Para receber as permissões necessárias para usar o repositório de atributos do catálogo universal do Dataplex, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para usar o repositório de atributos do catálogo universal do Dataplex. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para usar a loja de atributos do Dataplex Universal Catalog:

  • Gerenciar taxonomias e atributos:
    • dataplex.datataxonomies.*
    • dataplex.dataattributes.* (except dataplex.dataattributes.configureResourceAccess and dataplex.dataattributes.configureDataAccess)
  • Confira as vinculações associadas a recursos e atributos:
    • dataplex.datataxonomies.get
    • dataplex.datataxonomies.list
    • dataplex.dataattributes.get
    • dataplex.dataattributes.list
    • dataplex.dataattributebindings.get
    • dataplex.dataattributebindings.list
  • Criar e gerenciar recursos de vinculação em um projeto: dataplex.dataattributebindings.*
  • Gerenciar especificações de acesso a recursos e dados:
    • dataplex.datataxonomies.configureResourceAccess
    • dataplex.datataxonomies.configureDataAccess

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Exemplos de casos de uso

Considere uma empresa chamada ACME que tem três tipos de dados:

  • Red dados sensíveis
  • Green dados restritos, mas menos sensíveis
  • Dados sem classificação

O administrador do Dataplex Universal Catalog de ACME cria o seguinte conjunto de atributos:

  • Atributo: Red

    • Especificações de coluna: secrets_team@acme com permissão de leitura
    • Especificações de recursos: secrets_team@acme e tenured_employees@acme com permissão de leitura

  • Atributo: Green

    • Especificações de coluna: full_time_employees@acme com permissão de leitura
    • Especificações de recursos: full_time_employees@acme com permissão para edição

Esta imagem contém as especificações de coluna e recurso para os atributos "Vermelho" e "Verde".

Os atributos Red e Green controlam o comportamento de acesso aos recursos (tabelas) dependendo dos atributos associados às tabelas e às colunas delas.

Considere uma tabela com as seguintes colunas:

  • ID
  • CEP
  • Nome
  • Endereço
  • $Value

Caso de uso 1: associar o mesmo atributo à tabela e a uma coluna

Esta imagem mostra o atributo "Red" associado à tabela e à coluna "Name".

Se você associar o atributo Red à tabela e à coluna Name, o Catálogo Universal do Dataplex vai propagar as seguintes políticas:

  • Os funcionários em secrets_team@acme e tenured_employees@acme podem ler a tabela, ver os metadados e fazer consultas nela.
  • Somente funcionários em secrets_team@acme podem consultar a coluna Name, já que ela é protegida por especificações de coluna.

Caso de uso 2: combinar atributos

Considere as seguintes associações:

  • Associe os atributos Red e Green à tabela.
  • Associe os atributos Red e Green à coluna Nome.
  • Associe o atributo Red à coluna $Value.

Esta imagem mostra os atributos "Vermelho" e "Verde" associados à tabela e à coluna "Nome", e o atributo "Vermelho" associado à coluna "$value".

Nesse caso, o Dataplex Universal Catalog propaga as seguintes políticas:

  • Os funcionários em secrets_team@acme, tenured_employees@acme e full_time_employees@acme podem acessar a tabela. Isso acontece porque o Dataplex Universal Catalog mescla as especificações de recursos dos atributos Red e Green.
  • Os funcionários em secrets_team@acme e full_time_employees@acme podem acessar a coluna Nome. Isso ocorre porque o Dataplex Universal Catalog mescla as especificações de coluna dos atributos Red e Green.
  • Somente funcionários em secrets_team@acme podem consultar a coluna $Value.

Caso de uso 3: organizar atributos em uma hierarquia

É possível organizar atributos em uma hierarquia especificando os subtipos de atributos. Considere o seguinte conjunto de atributos:

Atributo principal 1:
Atributo: PII

  • Especificações da coluna: secrets_team@acme
  • Especificações de recursos: secrets_team@acme e tenured_employees@acme

Atributo filho de PII:
Atributo: Email

  • Especificações da coluna: email_comm@acme
  • Especificações do recurso: email_comm@acme

Atributo principal 2:
Atributo: Financial

  • Especificações da coluna: full_time_employees@acme
  • Especificações do recurso: full_time_employees@acme

Esta imagem mostra um exemplo de hierarquia de atributos.

Considere as seguintes associações:

  • Associe os atributos Email e Financial à tabela.
  • Associe os atributos Email e Financial à coluna Nome.
  • Associe o atributo PII à coluna $Value.

Esta imagem mostra como os atributos em uma hierarquia podem ser associados à tabela e às colunas.

Nesse caso, o Dataplex Universal Catalog propaga as seguintes políticas:

  • Os funcionários em secrets_team@acme, tenured_employees@acme, full_time_employees@acme e email_comm@acme podem acessar a tabela. Isso acontece porque o Dataplex Universal Catalog mescla as especificações de recursos dos atributos Financial e Email, e o atributo Email herda as especificações do atributo PII.
  • Os funcionários em secrets_team@acme, email_comm@acme e full_time_employees@acme podem acessar a coluna Nome. Isso ocorre porque o Dataplex Universal Catalog mescla as especificações de coluna dos atributos Financial e Email.
  • Somente funcionários em secrets_team@acme podem consultar a coluna $Value.

Configurar atributos

Para criar um atributo, primeiro crie uma taxonomia e depois os atributos de dados pai e filho.

Criar uma taxonomia de atributos de dados

  1. No console Google Cloud , acesse a página Armazenamento de atributos do catálogo universal do Dataplex.

    Acesse a loja de atributos

  2. Clique em Criar taxonomia.

  3. Insira o Nome da taxonomia, o ID e a Descrição.

  4. Selecione uma região.

  5. Clique em Enviar.

    A nova taxonomia aparece na página Taxonomias de dados.

Criar um atributo principal

  1. No console Google Cloud , acesse a página Armazenamento de atributos do catálogo universal do Dataplex.

    Acesse a loja de atributos

  2. Na página Taxonomias de dados, clique na taxonomia em que você quer criar o atributo principal.

  3. Na página Detalhes da taxonomia, clique em Adicionar atributo de dados.

  4. Selecione Criar atributo de dados pai.

  5. Insira um nome, um ID e uma descrição para o atributo principal.

  6. Opcional: configure as especificações de atributos.

    1. Configure as especificações de recursos:

      1. Clique em Gerenciar permissões para Recurso.
      2. Clique em Adicionar.
      3. No campo Novos participantes, digite o endereço de e-mail de uma pessoa ou um grupo que precisa de acesso ao recurso.
      4. Selecione as Funções necessárias e clique em Salvar.
      5. Clique em Salvar.

    2. Configure as especificações de coluna:

      1. Clique em Gerenciar permissões para Coluna.
      2. Clique em Adicionar.
      3. No campo Novos participantes, digite o endereço de e-mail de uma pessoa ou um grupo que precisa de acesso à coluna.
      4. Selecione as Funções necessárias e clique em Salvar.
      5. Clique em Salvar.

  7. Clique em Criar.

Criar um atributo filho

  1. No console Google Cloud , acesse a página Armazenamento de atributos do catálogo universal do Dataplex.

    Acesse a loja de atributos

  2. Na página Taxonomias de dados, clique na taxonomia em que você quer criar o atributo filho.

  3. Na página Detalhes da taxonomia, clique em Adicionar atributo de dados.

  4. Selecione Criar atributo de dados filho.

  5. Selecione um atributo de dados principal para o atributo filho que você está criando.

  6. Insira um nome, um ID e uma descrição para o atributo filho.

  7. Opcional: configure as especificações de atributos.

    1. Configure as especificações de recursos:

      1. Clique em Gerenciar permissões para Recurso.
      2. Clique em Adicionar.
      3. No campo Novos participantes, digite o endereço de e-mail de uma pessoa ou um grupo que precisa de acesso ao recurso.
      4. Selecione as Funções necessárias e clique em Salvar.
      5. Clique em Salvar.

    2. Configure as especificações de coluna:

      1. Clique em Gerenciar permissões para Coluna.
      2. Clique em Adicionar.
      3. No campo Novos participantes, digite o endereço de e-mail de uma pessoa ou um grupo que precisa de acesso à coluna.
      4. Selecione as Funções necessárias e clique em Salvar.
      5. Clique em Salvar.

  8. Clique em Criar.

Atualizar recursos da loja de atributos

Atualizar detalhes da taxonomia

  1. No console Google Cloud , acesse a página Armazenamento de atributos do catálogo universal do Dataplex.

    Acesse a loja de atributos

  2. Clique na taxonomia que você quer atualizar.

  3. Clique em Editar.

  4. Edite o nome e a descrição da taxonomia conforme necessário.

  5. Clique em Enviar.

Atualizar detalhes do atributo

  1. No console Google Cloud , acesse a página Armazenamento de atributos do catálogo universal do Dataplex.

    Acesse a loja de atributos

  2. Clique na taxonomia que contém o atributo que você quer atualizar.

  3. Clique no atributo que você quer atualizar.

  4. Para atualizar o nome e a descrição do atributo, clique em Editar.

    1. Se você estiver atualizando um atributo principal, poderá atualizá-lo para um atributo secundário e vice-versa. Selecione as opções de acordo com sua preferência.
    2. Edite o nome e a descrição do atributo conforme necessário.
    3. Clique em Atualizar.

  5. Para atualizar as especificações de recursos do atributo, clique em Editar em Especificações de recursos.

    1. Para adicionar um novo principal, siga estas etapas:

      1. Clique em Adicionar.
      2. No campo Novos participantes, digite o endereço de e-mail de uma pessoa ou de um grupo que precisa de acesso ao recurso.
      3. Selecione as funções necessárias.
      4. Clique em Salvar.

    2. Para atualizar um principal, siga estas etapas:

      1. No principal que você quer atualizar, clique em Editar.
      2. Selecione as funções necessárias.
      3. Clique em Salvar.

    3. Para remover um principal, siga estas etapas:

      1. Selecione o principal que você quer remover.
      2. Clique em Remover.

  6. Para atualizar as especificações de coluna do atributo, clique em Editar em Especificações de coluna.

    1. Para adicionar um novo principal, siga estas etapas:

      1. Clique em Adicionar.
      2. No campo Novos participantes, digite o endereço de e-mail de uma pessoa ou um grupo que precisa de acesso à coluna.
      3. Selecione as funções necessárias.
      4. Clique em Salvar.

    2. Para atualizar um principal, siga estas etapas:

      1. No principal que você quer atualizar, clique em Editar.
      2. Selecione as funções necessárias.
      3. Clique em Salvar.

    3. Para remover um principal, siga estas etapas:

      1. Selecione o principal que você quer remover.
      2. Clique em Remover.

Associar atributos a recursos

Associar um atributo a uma tabela

  1. No console Google Cloud , acesse a página Armazenamento de atributos do catálogo universal do Dataplex.

    Acesse a loja de atributos

  2. Clique na taxonomia que contém o atributo.

  3. Clique no atributo que você quer associar a uma tabela.

  4. Clique na guia Recursos.

  5. Clique em Adicionar recursos.

  6. Selecione uma tabela na lista.

  7. Clique em Selecionar.

Associar um atributo a uma coluna

  1. No console do Google Cloud , acesse a página Pesquisa do Data Catalog.

    Acesse Pesquisar

  2. Pesquise e selecione a tabela em que você quer associar um atributo a uma coluna.

  3. Clique na guia Tags de coluna e esquema.

  4. Na coluna em que você quer associar um atributo, clique em Adicionar em Tags de política.

  5. Selecione a taxonomia que contém o atributo.

  6. Selecione o atributo.

  7. Clique em Anexar.

A seguir