Gerenciar aspectos e enriquecer metadados

Neste documento, descrevemos como criar e gerenciar tipos de aspectos e anotar entradas com aspectos.

O Dataplex Universal Catalog descreve as entradas por um conjunto de aspectos. É possível descrever suas entradas com metadados adicionais usando aspectos e tipos de aspectos.

Para mais informações, consulte Sobre o gerenciamento do catálogo de dados no Dataplex Universal Catalog.

Aspectos

Com eles, é possível capturar metadados de entradas. Adicionar aspectos a uma entrada ajuda a dar um contexto significativo para quem precisa usar o recurso. É possível usar aspectos para armazenar metadados comerciais (por exemplo, classificação de dados) e técnicos (por exemplo, esquema).

Os aspectos são considerados partes do recurso de entrada e não recursos separados. Quando você modifica um aspecto, isso envolve a mudança da entrada que o contém.

É possível especificar aspectos no nível da entrada para descrever uma entrada ou no nível da coluna para descrever uma coluna em uma entrada.

Cada aspecto é uma instância de um tipo de aspecto. Um tipo de aspecto define um modelo para os aspectos dele. Cada tipo de aspecto contém um conjunto de campos. Ao criar aspectos, você precisa fornecer valores para esses campos.

Para uma determinada entrada, pode haver no máximo um aspecto associado a ela por tipo de aspecto. É possível ter vários aspectos associados a colunas de entrada por tipo de aspecto.

Categorias de aspectos

Os aspectos são categorizados da seguinte forma:

  • Aspectos obrigatórios: são os aspectos obrigatórios na criação de uma entrada. Esses aspectos são definidos pelo tipo de entrada. Todas as entradas pertencentes a um tipo de entrada precisam sempre ter todos os aspectos obrigatórios definidos por esse tipo.

    O Dataplex Universal Catalog gerencia os aspectos necessários (por exemplo, esquema) para entradas do sistema.

    Observe o seguinte:

    • Você pode associar aspectos obrigatórios apenas a entradas, não às colunas de uma entrada.

    • Não é possível excluir os aspectos obrigatórios de uma entrada.

    • É possível ler os aspectos necessários das entradas do sistema, mas não modificá-los.

  • Aspectos opcionais: é possível associar aspectos opcionais a entradas ou colunas de entrada. É possível preencher aspectos opcionais no momento da criação da entrada ou depois, atualizando-a.

    É possível excluir aspectos opcionais depois que eles forem preenchidos.

Tipos de aspecto

Os tipos de aspecto são recursos reutilizáveis que fornecem modelos para aspectos.

Categorias de tipos de aspecto

Os tipos de aspectos são categorizados da seguinte forma:

  • Tipos de aspecto personalizados: tipos de aspecto que você cria no Dataplex Universal Catalog.

  • Tipos de aspecto do sistema: tipos de aspecto fornecidos, usados e gerenciados pelo Dataplex Universal Catalog.

    Os tipos de aspectos do sistema são categorizados em reutilizáveis e restritos. A tabela a seguir descreve as categorias de tipos de aspectos do sistema e a lista de tipos de aspectos que o Dataplex Universal Catalog oferece para cada uma das categorias:

    Categoria do tipo de aspecto do sistema Descrição Tipos de aspectos fornecidos pelo Dataplex Universal Catalog
    Tipo de aspecto do sistema reutilizável Você pode usar esses tipos de aspecto para criar ou modificar aspectos.
    • contacts
    • data-quality-scorecard
    • generic
    • overview
    • schema
    • usage
    Tipo de aspecto do sistema restrito O Dataplex Universal Catalog gerencia esses tipos de aspecto.
    Você pode ler aspectos nesses tipos, mas não pode criar ou editar aspectos nesses tipos.     		Incluindo, mas não se limitando a:
    • analytics-hub
    • aspecttype-aspect
    • bigquery-dataset
    • bigquery-table
    • cloudsql-database
    • cloudsql-instance
    • cloudsql-table
    • entrygroup-aspect
    • entrytype-aspect
    • sensitive-data-protection-profile
    • storage
    • storage-bucket
    • storage-folder

Os tipos de aspectos personalizados podem ser globais ou regionais. É possível criar tipos de aspectos personalizados em um local regional específico ou como um recurso global.

Os tipos de aspecto globais são usados para criar aspectos para entradas em qualquer região. O conteúdo dos tipos de aspecto globais é replicado em todas as regiões. Os tipos de aspecto regionais são usados para criar aspectos de entradas na mesma região.

O local de um tipo de aspecto afeta o escopo da aplicabilidade dele. Para mais informações, consulte Restrições de projeto e local.

Os tipos de aspecto do sistema são sempre globais. Os tipos de aspectos do sistema são armazenados em um projeto gerenciado pelo Google com ID do projeto 655216118709. Por exemplo, projects/655216118709/locations/global/aspectTypes/schema.

Antes de começar

Antes de criar e gerenciar tipos e aspectos, conclua as tarefas descritas nesta seção.

Funções exigidas

Para receber as permissões necessárias para criar e gerenciar tipos e aspectos, peça ao administrador para conceder a você os seguintes papéis do IAM no recurso:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

Para mais informações, consulte Papéis do IAM do Dataplex Universal Catalog.

Ativar a API

Ative a API Dataplex no projeto do Dataplex Universal Catalog.

Ativar a API

Criar um tipo de aspecto

Console

  1. No console Google Cloud , acesse a página Catálogo do Dataplex Universal Catalog.

    Acessar o catálogo

  2. Clique na guia Tipos de aspecto e modelos de tag > Personalizado.

  3. Clique em Criar tipo de aspecto (Catálogo do Dataplex).

  4. Na janela Criar tipo de aspecto, insira o seguinte:

    1. Opcional: no campo Nome de exibição, insira um nome para o tipo de aspecto.
    2. No campo ID do tipo de aspecto, insira um ID exclusivo para o tipo de aspecto.
    3. Opcional: no campo Descrição, insira uma descrição para o tipo de aspecto.
    4. No campo Local, selecione um local para o tipo de aspecto. Não é possível mudar o local de um tipo de aspecto depois de criá-lo.

  5. Opcional: defina um modelo para seu tipo de aspecto.

    Na seção Modelo, clique em Adicionar campo. Na seção Novo campo, insira o seguinte:

    1. Digite um nome no campo Nome.
    2. Opcional: no campo Nome de exibição, insira um nome de exibição.
    3. Opcional: no campo Descrição, insira uma descrição.

    4. No campo Tipo, selecione um tipo de dados para o campo. Com base na sua seleção, o próximo conjunto de campos e opções será mostrado:

      • Se você selecionou Texto como o tipo de dados, siga estas etapas:

        1. No campo Tipo de texto, selecione o tipo de texto.
        2. No campo Valores de texto, forneça uma dica para o campo de texto. Para fazer isso, clique em Adicionar valor e insira a dica. É possível adicionar várias dicas para um campo de texto.
        3. Clique em Concluído.

      • Se você selecionou Enum como o tipo de dados, adicione um valor de enumeração:

        1. Clique em Adicionar um valor de enumeração.
        2. No campo Valor, insira um valor de enumeração. É possível adicionar vários valores de enumeração.
        3. Clique em Concluído.

      • Se você selecionou Matriz como o tipo de dados, na seção Item da matriz, defina os tipos de itens que estarão presentes na matriz:

        1. Clique em Adicionar item de matriz.
        2. No campo Nome, insira um nome para os itens da matriz.
        3. Opcional: no campo Nome de exibição, insira um nome de exibição para os itens da matriz.
        4. Opcional: no campo Descrição, insira uma descrição para os itens da matriz.

        5. No campo Tipo, selecione um tipo de dados para os itens da matriz.

          Com base na sua seleção, o próximo conjunto de campos e opções será mostrado. Elas são semelhantes às opções descritas para os tipos de dados Texto, Enumeração, Mapa, Matriz e Registro em outras partes desta seção.

        6. Clique em Concluído.

      • Se você selecionou Mapa como o tipo de dados, na seção Valor do mapa, defina os tipos de valores que vão aparecer no mapa:

        1. Clique em Adicionar valor de mapa.
        2. No campo Nome, insira um nome para o mapa.
        3. Opcional: no campo Nome de exibição, insira um nome para o mapa.
        4. Opcional: no campo Descrição, insira uma descrição para o mapa.

        5. No campo Tipo, selecione um tipo de dados para o mapa.

          Com base na sua seleção, o próximo conjunto de campos e opções será mostrado. Elas são semelhantes às opções descritas para os tipos de dados Texto, Enumeração, Mapa, Matriz e Registro em outras partes desta seção.

        6. Clique em Concluído.

      • Se você selecionou Registro como o tipo de dados, insira o seguinte:

        1. No campo ID do registro, insira um ID exclusivo que outros campos de registro possam usar para se referir a este registro. Consulte a seção Exemplo de uso dos campos "ID do registro" e "Referência do registro" deste documento.
        2. Opcional: se você quiser adicionar uma referência a outro registro deste modelo, use o campo Referência de registro. Não é possível modificar isso depois de criar o tipo de aspecto. Consulte a seção Exemplo de uso dos campos "ID do registro" e "Referência do registro" deste documento.

        3. Na seção Campos de registro, é possível definir um objeto complexo com vários campos aninhados. Para fazer isso, clique em Adicionar item de campo de registro e especifique o seguinte:

        4. No campo Nome, insira um nome para o campo de registro.

        5. Opcional: no campo Nome de exibição, insira um nome para o campo de registro.

        6. Opcional: no campo Descrição, insira uma descrição para o campo de registro.

        7. No campo Tipo, selecione um tipo de dados.

          Com base na sua seleção, o próximo conjunto de campos e opções será exibido. Elas são semelhantes às opções descritas para os tipos de dados Texto, Enumeração, Mapa, Matriz e Registro nesta seção.

        8. Clique em Concluído.

    5. Para tornar o campo obrigatório para um aspecto desse tipo, selecione É obrigatório. Para mais informações sobre aspectos obrigatórios e opcionais, consulte a seção Categorias de aspectos deste documento.

    6. Clique em Concluído.

    7. Para adicionar vários campos, clique em Adicionar campo e repita as etapas anteriores.

  6. Opcional: na seção Rótulos, adicione rótulos arbitrários como pares de chave-valor aos recursos:

    1. Clique em Adicionar rótulo.
    2. No campo Chave, insira uma chave.
    3. No campo Valor, insira um valor para a chave.
    4. Para adicionar mais rótulos, clique em Adicionar rótulo e repita as etapas.

  7. Clique em Salvar.

gcloud

Para criar um tipo de aspecto, use o comando gcloud dataplex aspect-types create.

REST

Para criar um tipo de aspecto, use o método aspectType.create.

Depois de criar um tipo de aspecto, é possível adicionar aspectos às entradas.

Exemplo de uso dos campos "ID do registro" e "Referência do registro"

Você pode usar os campos ID do registro e Referência do registro para referências recursivas. O exemplo a seguir mostra como usar esses campos:

Considere um tipo de aspecto chamado Employee, com os seguintes campos:

  • Nome (tipo:Text)
  • Data de início (tipo:Date & time)
  • Designação (tipo:Text)
  • Endereço atual (tipo:Record)
  • Endereço permanente (tipo:Record)

Os dois campos de endereço Endereço atual e Endereço permanente são do mesmo tipo de dados Record. Para evitar a duplicação, defina os valores ID do registro e Referência do registro ao definir esses campos.

Ao definir o campo Endereço atual, é possível especificar ID do registro como address-field. Para Endereço permanente, você pode especificar o mesmo valor (address-field) para Referência do registro. Exemplo:

  • Nome (tipo:Text)
  • Data de início (tipo:Date & time)
  • Designação (tipo:Text)
  • Endereço atual (tipo:Record, ID do registro:address-field)
  • Endereço permanente (tipo:Record, referência do registro:address-field)

Assim, não é preciso duplicar os campos de outro endereço.

Adicionar aspectos a uma entrada

Depois de criar um tipo de aspecto, você pode criar aspectos desse tipo. Para adicionar aspectos a uma entrada, é necessário atualizar a entrada, já que os aspectos são armazenados nela.

Observe o seguinte:

  • É possível adicionar aspectos a uma entrada ou às colunas dela.
  • Só é possível editar os aspectos obrigatórios para entradas personalizadas. Não é possível excluir os aspectos obrigatórios.
  • É possível editar e excluir os aspectos opcionais das entradas personalizadas e do sistema.

Console

  1. No console Google Cloud , acesse a página Pesquisa do Universal Catalog do Dataplex.

    Acesse Pesquisar

  2. Em Escolher plataforma de pesquisa, selecione Dataplex Catalog como o modo de pesquisa.

  3. Pesquise a entrada a que você quer adicionar aspectos e clique nela. A página de detalhes da entrada é aberta.

  4. Para adicionar aspectos à entrada, siga estas etapas:

    1. Clique na guia Detalhes.
    2. Para adicionar aspectos obrigatórios ou opcionais à entrada, na seção Tags e aspectos, clique em Adicionar na categoria correspondente.
      Não é possível adicionar aspectos obrigatórios se o tipo de entrada selecionada não tiver aspectos obrigatórios definidos.
    3. Pesquise e selecione o aspecto que você quer adicionar.
    4. Na janela Adicionar aspecto, insira os valores dos campos.
    5. Clique em Salvar.

  5. Para adicionar aspectos a uma coluna da entrada, siga estas etapas:

    1. Na página de detalhes da entrada, clique na guia Esquema.
    2. Selecione as colunas a que você quer adicionar aspectos.
    3. Clique em Adicionar aspecto.
    4. Pesquise e selecione o aspecto que você quer adicionar.
    5. Na janela Adicionar aspecto, insira os valores dos campos.
    6. Clique em Salvar.

gcloud

Para adicionar aspectos a uma entrada ou a uma coluna de uma entrada, use o comando gcloud dataplex entries update.

REST

Para adicionar aspectos a uma entrada ou a uma coluna dela, use o método entry.patch.

Não é possível criar e usar aspectos em uma entrada em que o tipo de aspecto e a entrada estão em diferentes organizações Google Cloud .

Gerenciar aspectos de uma entrada

Nesta seção, descrevemos como atualizar e excluir os aspectos de uma entrada.

Atualizar um aspecto

É possível editar os aspectos opcionais das entradas personalizadas e do sistema. Só é possível editar os aspectos obrigatórios para entradas personalizadas.

Console

  1. No console Google Cloud , acesse a página Pesquisa do Universal Catalog do Dataplex.

    Acesse Pesquisar

  2. Em Escolher plataforma de pesquisa, selecione Dataplex Catalog como o modo de pesquisa.

  3. Pesquise e clique na entrada que você quer atualizar.

    A página de detalhes da entrada é aberta.

  4. Clique na guia Detalhes.

  5. Na seção Tags e aspectos, expanda o aspecto ou a tag que você quer atualizar e clique em Editar.

  6. Na janela Editar aspecto, atualize os campos obrigatórios.

  7. Clique em Salvar.

gcloud

Para atualizar aspectos de uma entrada ou coluna de uma entrada, use o comando gcloud dataplex entries update.

REST

Para atualizar aspectos de uma entrada ou coluna de uma entrada, use o método entry.update.

Excluir um aspecto

Console

  1. No console Google Cloud , acesse a página Pesquisa do Universal Catalog do Dataplex.

    Acesse Pesquisar

  2. Em Escolher plataforma de pesquisa, selecione Dataplex Catalog como o modo de pesquisa.

  3. Pesquise e clique na entrada cujos aspectos você quer excluir.

    A página de detalhes da entrada é aberta.

  4. Clique na guia Detalhes.

  5. Na seção Tags e aspectos, expanda o aspecto ou a tag que você quer excluir e clique em Excluir.

  6. Clique em Confirmar.

gcloud

Para excluir um aspecto de uma entrada, use o comando gcloud dataplex entries update.

REST

Para excluir um aspecto de uma entrada, use o método entry.update.

Gerenciar tipos de aspecto

Nesta seção, descrevemos como ver, atualizar e excluir tipos de aspectos.

Confira a lista de tipos de aspecto e modelos de tag disponíveis

Console

  1. No console Google Cloud , acesse a página Catálogo do Dataplex Universal Catalog.

    Acessar o catálogo

  2. Clique na guia Tipos de aspecto e modelos de tag.

    Esta página lista todos os tipos de aspecto do Dataplex Universal Catalog e os modelos de tag do Data Catalog disponíveis.

  3. Para ver os tipos de aspectos personalizados e modelos de tags, clique na guia Personalizado. Na guia Personalizado, a coluna Origem do catálogo mostra onde o recurso está localizado: Dataplex Universal Catalog ou Data Catalog.

    Para ver os tipos de aspectos do sistema, clique na guia Sistema.

    Para mais informações sobre tipos de aspectos personalizados e do sistema, consulte a seção Categorias de tipos de aspectos deste documento.

  4. Opcional: para conferir a lista de tipos de aspectos e modelos de tag no projeto selecionado, clique na guia Personalizado e depois no botão Mostrar de todos os projetos para desativar.

    A opção Mostrar de todos os projetos fica ativada por padrão, e a lista inclui recursos do Dataplex Universal Catalog da organização selecionada e recursos do Data Catalog de todas as organizações a que você tem acesso.

gcloud

Para listar todos os tipos de aspectos disponíveis, use o comando gcloud dataplex aspect-types list.

REST

Para listar todos os tipos de aspectos disponíveis, use o método aspectTypes.list.

Ver detalhes de um tipo de aspecto ou modelo de tag

Console

  1. No console Google Cloud , acesse a página Catálogo do Dataplex Universal Catalog.

    Acessar o catálogo

  2. Clique na guia Tipos de aspecto e modelos de tag.

  3. Para ver os detalhes de um tipo de aspecto do Dataplex Universal Catalog, clique nele. A página de detalhes do tipo de aspecto é aberta, onde você pode acessar detalhes como nome de exibição, ID do tipo de aspecto, descrição, ID do projeto, local, rótulos, data de criação e data da última modificação.

    • Para conferir a estrutura do tipo de aspecto selecionado, clique na guia Modelo.
    • Para conferir a lista de 10 entradas relacionadas criadas recentemente, clique na guia Entradas de amostra.
    • Para pesquisar todas as entradas relacionadas, clique em Mostrar todas as entradas relacionadas na pesquisa. Esse botão só aparece se houver pelo menos uma entrada relacionada.

  4. Para conferir os detalhes de um modelo de tag do Data Catalog, clique nele. A página de detalhes do modelo de tag é aberta no Data Catalog, onde você pode acessar detalhes como nome de exibição, ID do modelo, ID do projeto, local, visibilidade e rótulos.

gcloud

Para conferir os detalhes de um tipo de aspecto, use o comando gcloud dataplex aspect-types describe.

REST

Para ver os detalhes de um tipo de aspecto, use o método aspectTypes.get.

Atualizar um tipo de aspecto

É possível atualizar o nome de exibição, a descrição, os campos de modelo e os rótulos de um tipo de aspecto. Não é possível excluir um campo de um modelo.

Não é possível atualizar o ID e o local do tipo de aspecto depois de criar o tipo de aspecto.

Console

  1. No console Google Cloud , acesse a página Catálogo do Dataplex Universal Catalog.

    Acessar o catálogo

  2. Clique na guia Tipos de aspecto e modelos de tag.

  3. Clique no tipo de aspecto que você quer atualizar.

  4. Na página Detalhes do tipo de aspecto, clique em Editar.

  5. Edite o nome de exibição, a descrição, os campos de modelo e os rótulos, conforme necessário.

  6. Opcional: para marcar um campo no tipo de aspecto como descontinuado, siga estas etapas:

    1. Na seção Modelo, expanda o campo.
    2. Selecione Está descontinuado.
    3. No campo Motivo da descontinuação, insira um motivo para descontinuar o campo selecionado.
    4. Clique em Concluído.

  7. Clique em Salvar.

gcloud

Para atualizar um tipo de aspecto, use o comando gcloud dataplex aspect-types update.

REST

Para atualizar um tipo de aspecto, use o método aspectTypes.patch.

Excluir um tipo de aspecto

Console

  1. No console Google Cloud , acesse a página Catálogo do Dataplex Universal Catalog.

    Acessar o catálogo

  2. Clique na guia Tipos de aspecto e modelos de tag.

  3. Clique no tipo de aspecto que você quer excluir.

  4. Na página Detalhes do tipo de aspecto, clique em Excluir. Confirme quando solicitado.

gcloud

Para excluir um tipo de aspecto, use o comando gcloud dataplex aspect-types delete.

REST

Para excluir um tipo de aspecto, use o método aspectTypes.delete.

A seguir