Este documento descreve como criar e gerenciar tipos de aspectos e anexar aspectos às entradas.
O Catálogo do Dataplex descreve as entradas por um conjunto de aspectos. É possível descrever suas entradas com metadados adicionais usando aspectos e tipos de aspectos.
Para mais informações, consulte Visão geral do Dataplex Catalog.
Aspectos
Os aspectos permitem capturar metadados nas entradas. Como adicionar aspectos a uma entrada ajuda a fornecer contexto significativo para qualquer pessoa que precise usar o recurso. É possível usar aspectos para armazenar metadados comerciais (por exemplo, classificação de dados) e metadados técnicos (por exemplo, esquema).
Os aspectos são considerados parte do recurso de entrada e não são separados do Google Cloud. Quando você modifica um aspecto, isso envolve modificar a entrada que contém o aspecto.
É possível especificar aspectos básicos para descrever uma entrada ou para descrever uma coluna em uma entrada.
Cada aspecto é uma instância de um tipo. Um tipo de aspecto define um modelo para os aspectos. Cada tipo de aspecto contém um conjunto de campos. Ao criar aspectos, é preciso fornecer valores para esses campos.
Para uma determinada entrada, pode haver no máximo um aspecto associado a ela, por tipo de aspecto. É possível ter vários aspectos associados às colunas de entrada por tipo de aspecto.
Categorias de aspectos
Os aspectos são categorizados da seguinte maneira:
Aspectos obrigatórios: aspectos obrigatórios na criação de uma entrada. Esses aspectos são definidos pelo tipo de uma determinada entrada. Todas as entradas de um tipo precisam ter todos os aspectos obrigatórios que são definidos por esse tipo.
O Dataplex gerencia os aspectos necessários (por exemplo, esquema) para entradas do sistema.
Observe o seguinte:
Só é possível associar os aspectos obrigatórios às entradas, e não à função colunas de uma entrada.
Não é possível excluir os aspectos obrigatórios de uma entrada.
Você pode ler os aspectos necessários das entradas do sistema, mas não modificá-los.
Aspectos opcionais: é possível associar aspectos opcionais a entradas ou a colunas de entrada. Você pode preencher aspectos opcionais no momento da entrada criação ou posteriormente atualizando a entrada.
É possível excluir os aspectos opcionais depois que eles forem preenchidos.
Tipos de aspecto
Os tipos de aspectos são recursos reutilizáveis que fornecem modelos para eles.
Categorias de tipos de aspecto
Os tipos de aspecto são categorizados da seguinte forma:
Tipos de aspecto personalizados: os tipos que você cria em Catálogo do Dataplex.
Tipos de aspecto do sistema: os tipos de aspecto que o Dataplex fornece, usa, e gerencia.
Os tipos de aspecto do sistema são categorizados como reutilizáveis e restritos. A tabela a seguir descreve as categorias de tipos de aspecto do sistema e as lista de tipos de aspecto que o Dataplex fornece para cada uma das categorias:
Categoria de tipo de aspecto do sistema Descrição Tipos de aspectos fornecidos pelo Dataplex Tipo de aspecto do sistema reutilizável Você pode usar esses tipos para criar ou modificar aspectos. generic
storage
Tipo de aspecto do sistema restrito O Dataplex gerencia esses tipos de aspecto.
Você pode ler aspectos nesses tipos de aspecto, mas não pode criar ou editar de dados sob esses tipos de aspectos.bigquery-connection
bigquery-dataset
bigquery-model
bigquery-routine
bigquery-table
bigquery-view
cloudsql-database
cloudsql-instance
cloudsql-schema
cloudsql-table
cloudsql-view
storage
sql-access
storage-bucket
storage-folder
É possível criar tipos de aspecto personalizados em um local regional específico ou como recurso global. Os tipos de aspecto do sistema são sempre globais. A localização de um tipo de aspecto afeta o escopo de sua aplicabilidade. Para mais informações, consulte Restrições de projeto e local.
Antes de começar
Antes de criar e gerenciar tipos e aspectos de aspecto, conclua as tarefas descritos nesta seção.
Funções exigidas
Para ter as permissões necessárias para criar e gerenciar tipos e aspectos de aspecto, peça ao administrador para conceder a você os seguintes papéis do IAM no recurso:
-
Conjunto completo de permissões em todos os recursos do Dataplex Catalog, incluindo tipos de aspecto:
Administrador do Dataplex Catalog (
roles/dataplex.catalogAdmin
) -
Criar e gerenciar todos os recursos do catálogo do Dataplex, incluindo tipos de aspecto:
Editor de catálogo do Dataplex (
roles/dataplex.catalogEditor
) -
Conjunto completo de permissões em tipos de aspecto personalizados (exceto permissões para usar tipos de aspecto para criar ou editar entradas):
Proprietário de tipo de aspecto do Dataplex (
roles/dataplex.aspectTypeOwner
) -
Visualize os tipos de aspectos e as políticas do IAM associados a eles:
Leitor de catálogo do Dataplex (
roles/dataplex.catalogViewer
) -
Use os tipos de aspecto para criar e modificar entradas com os aspectos correspondentes:
Usuário de tipos de aspectos do Dataplex (
roles/dataplex.aspectTypeUser
) -
Adicione aspectos de alguns dos tipos de aspectos do sistema, como
schema
,overview
econtacts
: Proprietário de entrada do Dataplex (roles/dataplex.entryOwner
)
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.
Para mais informações, consulte Papéis do IAM do Dataplex.
Ativar a API
Ativar a API Dataplex no seu projeto do Dataplex.
Criar um tipo de aspecto
Console
No console do Google Cloud, acesse a página Catálogo do Dataplex.
Clique na guia Tipos de aspecto > Personalizado.
Na seção Detalhes, digite o seguinte:
- Opcional: no campo Nome de exibição, digite um nome para o aspecto. não é válido.
- No campo ID do tipo de aspecto, digite um ID exclusivo para o tipo de aspecto.
- Opcional: no campo Descrição, insira uma descrição para o tipo de aspecto.
- No campo Local, selecione uma localização para o tipo de aspecto. Não é possível modificar o local de um tipo de aspecto depois de criá-lo.
Opcional: defina um modelo para o tipo de aspecto.
Em Modelos, clique em Adicionar campo. Na seção Novo campo, insira o seguinte:
- Digite um nome no campo Nome.
- Opcional: no campo Nome de exibição, digite um nome de exibição.
- Opcional: no campo Descrição, insira uma descrição.
No campo Tipo, selecione um tipo de dados. Com base nas suas selecionada, o próximo conjunto de campos e opções será exibido:
Se você selecionou Texto como o tipo de dados, siga estas etapas:
- No campo Text type, selecione o tipo de texto.
- No campo Text values, insira uma dica para o texto. . Para fazer isso, clique em Add value e digite a dica. Você pode adicionar várias dicas a um campo de texto.
- Clique em Concluído.
Se você tiver selecionado Enum como o tipo de dados, adicione um valor de enumeração:
- Clique em Adicionar um valor de tipo enumerado.
- No campo Valor, insira um valor de tipo enumerado. Você pode adicionar vários valores de tipo enumerado.
- Clique em Concluído.
Se você selecionou Matriz como o tipo de dados, na coluna Item da matriz defina os tipos de itens que vão aparecer na matriz:
- Clique em Adicionar item da matriz.
- No campo Nome, insira um nome para os itens da matriz.
- Opcional: no campo Nome de exibição, digite um nome de exibição. para os itens da matriz.
- Opcional: no campo Descrição, digite uma descrição para os itens da matriz.
No campo Tipo, selecione um tipo de dados para os itens da matriz.
Com base na sua seleção, o próximo conjunto de campos e opções são exibidos. Elas são semelhantes às opções descritas os tipos de dados Text, Enum, Map, Array e Grave em outra parte desta seção.
Clique em Concluído.
Se você selecionou Mapa como o tipo de dados, na coluna Valor do mapa defina os tipos de valores que aparecerão no mapa:
- Clique em Adicionar valor do mapa.
- No campo Nome, insira um nome para o mapa.
- Opcional: no campo Nome de exibição, insira um nome de exibição para o mapa.
- Opcional: no campo Descrição, insira uma descrição para o mapa.
No campo Tipo, selecione um tipo de dados para o mapa.
Com base na sua seleção, o próximo conjunto de campos e opções são exibidos. Elas são semelhantes às opções descritas os tipos de dados Text, Enum, Map, Array e Grave em outra parte desta seção.
Clique em Concluído.
Se você selecionou Record como o tipo de dados, insira o seguinte:
- No campo Record ID, insira o ID exclusivo do outro registro. podem usar para se referir a esse registro. Consulte a seção Exemplo de uso dos campos de ID e referência do registro deste documento.
- Opcional: se você quiser adicionar uma referência a outro registro do este modelo, use o campo Record reference. Você não pode modifique isso depois de criar o tipo de aspecto. Consulte o Exemplo de uso dos campos "ID do registro" e "Referência do registro" deste documento.
Na seção Campos de registro, você pode definir um objeto complexo com vários campos aninhados. Para isso, clique em Adicionar item do campo de registro e especificar o seguinte:
- No campo Name, digite um nome para o campo de registro.
- Opcional: no campo Nome de exibição, digite um nome de exibição. para o campo de registro.
- Opcional: no campo Descrição, digite uma descrição para no campo de registro.
No campo Tipo, selecione um tipo de dados.
Com base na sua seleção, o próximo conjunto de campos e opções são exibidos. Elas são semelhantes às opções descritas os tipos de dados Text, Enum, Map, Array e Grave anteriormente nesta seção.
Clique em Concluído.
Para tornar o campo obrigatório para um aspecto desse tipo, selecione É obrigatório. Para mais informações sobre os aspectos e requisitos aspectos opcionais, consulte as categorias de aspectos deste documento.
Clique em Concluído.
Para adicionar vários campos, clique em Adicionar campo e repita o processo anterior etapas.
Opcional: na seção Rótulos, adicione rótulos arbitrários como chave-valor. aos seus recursos:
- Clique em Adicionar rótulo.
- No campo Chave, insira uma chave.
- No campo Valor, insira um valor para a chave.
- Para adicionar mais rótulos, clique em Adicionar rótulo e repita as etapas.
Clique em Salvar.
Depois de criar um tipo de aspecto, é possível adicionar aspectos às entradas.
REST
Para criar um novo tipo de aspecto, use o método
aspectType.create
.
Exemplo de uso dos campos "ID do registro" e "Referência do registro"
É possível usar os campos ID do registro e Referência do registro para referências recursivas. O exemplo abaixo mostra como usar esses campos:
Considere um tipo de aspecto chamado Employee
, com os seguintes campos:
- Nome (tipo:
Text
) - Data de início (tipo:
Date & time
) - Designação (tipo:
Text
) - Endereço atual (tipo:
Record
) - Endereço permanente (tipo:
Record
)
Os dois campos de endereço Endereço atual e Endereço permanente são dos
mesmo tipo de dados Record
. Para evitar a duplicação, defina o ID do registro
e Record reference ao definir esses campos.
Ao definir o campo Endereço atual, você pode especificar o ID do registro como:
address-field
. Em Endereço permanente, especifique o mesmo valor
(address-field
) em Referência de registro. Exemplo:
- Nome (tipo:
Text
) - Data de início (tipo:
Date & time
) - Designação (tipo:
Text
) - Endereço atual (tipo:
Record
, ID do registro:address-field
) - Endereço permanente (tipo:
Record
, Referência do registro:address-field
)
Assim, você não precisa duplicar os campos de outro endereço.
Adicionar aspectos a uma entrada
Depois de criar um tipo de aspecto, é possível criar aspectos desse tipo. Para adicionar aspectos a uma entrada, você precisa atualizá-la, já que aspectos são armazenados dentro de entradas.
Observe o seguinte:
- É possível adicionar aspectos a uma entrada ou às colunas dela.
- Só é possível editar os aspectos obrigatórios para entradas personalizadas. Você não pode e excluir os aspectos necessários.
É possível editar e excluir os aspectos opcionais de entradas personalizadas e entradas do sistema.
Console
No console do Google Cloud, acesse a página Pesquisa do Dataplex.
Em Escolher plataforma de pesquisa, selecione Catálogo do Dataplex como a no modo de pesquisa.
Procure a entrada à qual você quer adicionar aspectos e clique em a entrada.
A página de detalhes da entrada é aberta.
Para adicionar aspectos a uma entrada, siga estas etapas:
- Na página de detalhes da entrada, clique na guia Detalhes.
- Para adicionar os aspectos obrigatórios ou opcionais à entrada,
Na seção Aspectos, clique em
Não é possível adicionar os aspectos obrigatórios se o tipo de entrada do selecionado entrada não tem os aspectos obrigatórios definidos.
Adicione aos respectivos
categoria. - Pesquise e selecione o aspecto que você quer adicionar.
- Na janela Adicionar aspecto, insira os valores dos campos.
- Clique em Salvar.
Para adicionar aspectos a uma coluna de uma entrada, siga estas etapas:
- Na página de detalhes da entrada, clique na guia Esquema.
- Selecione as colunas em que você quer adicionar aspectos.
- Clique em Adicionar aspecto.
- Pesquise e selecione o aspecto que você quer adicionar.
- Na janela Adicionar aspecto, insira os valores dos campos.
- Clique em Salvar.
REST
Para adicionar aspectos a uma entrada ou a uma coluna de uma entrada, use o
entry.patch
.
Criar e usar aspectos em uma entrada em que o respectivo tipo e o entrada estão em organizações diferentes do Google Cloud, não é compatível.
Gerenciar os aspectos atuais de uma entrada
Esta seção descreve como atualizar e excluir os aspectos existentes de um entrada.
Atualizar um aspecto
É possível editar os aspectos opcionais das entradas personalizadas e do sistema. Só é possível editar os aspectos necessários para entradas personalizadas.
Console
No console do Google Cloud, acesse a página Pesquisa do Dataplex.
Em Escolher plataforma de pesquisa, selecione Catálogo do Dataplex como a no modo de pesquisa.
Pesquise a entrada cujos aspectos você quer atualizar e clique nela.
A página de detalhes da entrada é aberta.
Clique na guia Details.
No aspecto que você quer atualizar, clique em
Editar.Na janela Editar aspecto, atualize os campos obrigatórios.
Clique em Salvar.
REST
Para atualizar aspectos de uma entrada ou coluna de uma entrada, use o
entry.update
.
Excluir um aspecto
Console
No console do Google Cloud, acesse a página Pesquisa do Dataplex.
Em Escolher plataforma de pesquisa, selecione Catálogo do Dataplex como a no modo de pesquisa.
Pesquise a entrada cujos aspectos você quer excluir e clique nela.
A página de detalhes da entrada é aberta.
Clique na guia Details.
No aspecto que você quer excluir, clique em
Excluir.Clique em Confirmar.
REST
Para excluir um aspecto de uma entrada, use o método
entry.update
.
Gerenciar tipos de aspecto
Esta seção descreve como exibir, atualizar e excluir tipos de aspecto.
Ver a lista de tipos de aspecto disponíveis
Console
No console do Google Cloud, acesse a página Catálogo do Dataplex.
Clique na guia Tipos de aspecto.
Você pode acessar a lista de tipos de aspectos personalizados e do sistema. Para mais informações, veja as categorias de tipos de aspecto deste documento.
Na guia Personalizada, os tipos de aspecto com sufixo
(Data Catalog)
são os modelos de tag migrados do Data Catalog.Para conferir a lista de tipos de aspecto em todos os projetos, clique na guia Personalizado e ative a opção Mostrar de todos os projetos.
REST
Para listar todos os tipos de aspecto disponíveis, use o
aspectTypes.list
.
Mais detalhes de um tipo de aspecto
Console
No console do Google Cloud, acesse a página Catálogo do Dataplex.
Clique na guia Tipos de aspecto.
Clique no tipo de aspecto.
A página de detalhes do tipo de aspecto será aberta. É possível visualizar informações como nome de exibição, ID do tipo de aspecto, descrição, ID do projeto, local, rótulos, data de criação e data da última modificação do tipo de aspecto selecionado.
Para visualizar a estrutura do tipo de aspecto selecionado, clique no Guia Modelo.
Para ver a lista de dez entradas relacionadas criadas recentemente, Clique na guia Entradas de amostra.
Para pesquisar todas as entradas relacionadas, clique em Mostrar todas as entradas relacionadas na pesquisa. Esse botão só aparece se houver pelo menos uma entrada relacionada.
REST
Para obter os detalhes de um tipo de aspecto, use o método
aspectTypes.get
.
Atualizar um tipo de aspecto
Você pode atualizar o nome de exibição, a descrição, os campos do modelo e os rótulos. de um tipo de aspecto. Não é possível excluir um campo em um modelo.
Não é possível atualizar o ID do tipo de aspecto e o local depois de criar o tipo de aspecto.
Console
No console do Google Cloud, acesse a página Catálogo do Dataplex.
Clique na guia Tipos de aspecto.
Clique no tipo de aspecto que você quer atualizar.
Na página Detalhes do tipo de aspecto, clique em Editar.
editar o nome de exibição, a descrição, os campos do modelo e os rótulos; conforme necessário.
Opcional: para marcar um campo no tipo de aspecto como descontinuado, siga estas etapas:
- Na seção Modelo, expanda o campo.
- Selecione Está descontinuado.
- No campo Motivo da descontinuação, insira um motivo para descontinuar o campo selecionado.
- Clique em Concluído.
Clique em Salvar.
REST
Para atualizar um tipo de aspecto, use o método
aspectTypes.patch
.
Excluir um tipo de aspecto
Console
No console do Google Cloud, acesse a página Catálogo do Dataplex.
Clique na guia Tipos de aspecto.
Clique no tipo de aspecto que você quer excluir.
Na página Detalhes do tipo de aspecto, clique em Excluir. Confirmar quando solicitado.
REST
Para excluir um tipo de aspecto existente, use o método
aspectTypes.delete
.
A seguir
- Saiba como pesquisar recursos de dados no catálogo do Dataplex (em inglês).
- Saiba como gerenciar entradas e ingerir origens personalizadas.
- Saiba como importar metadados para o Dataplex.
- Saiba mais sobre o catálogo do Dataplex.