Este documento descreve como criar e gerenciar tipos de entrada, grupos de entrada e entradas personalizadas para permitir a integração de fontes de dados personalizadas no Dataplex Universal Catalog.
Uma entrada representa um recurso para o qual você captura metadados. Um grupo de entradas é um contêiner para uma ou mais entradas, usado para gerenciar o controle de acesso e a localização regional. Um tipo de entrada define os metadados obrigatórios para as entradas. Os tipos de entrada trazem estrutura e regras para um recurso de entrada livre e pouco definido, permitindo que as entradas sejam extensíveis.
Para integrar uma fonte de dados personalizada ao Catálogo Universal do Dataplex, crie uma entrada personalizada usando um tipo de entrada personalizada que esteja em um grupo de entrada personalizada. A criação de uma entrada personalizada envolve as seguintes etapas gerais:
- Criar um grupo de entrada.
- Crie um tipo de entrada.
- Crie uma entrada personalizada para o tipo de entrada no grupo de entrada.
Entradas
Uma entrada representa um recurso de dados para o qual você captura metadados. Cada entrada é uma instância de um tipo de entrada. Cada operação em aspectos de uma entrada precisa obedecer aos aspectos obrigatórios do tipo de entrada. Por exemplo, ao criar uma entrada, você precisa fornecer valores para todos os tipos de aspectos definidos pelo tipo de entrada. Não é possível excluir os aspectos de uma entrada marcados como
required no tipo de entrada.
Categorias de entradas
Entradas do sistema: o Dataplex Universal Catalog cria entradas para recursos do Google Cloud, como conjuntos de dados ou tabelas do BigQuery. As entradas criadas pelo Dataplex Universal Catalog são chamadas de entradas do sistema. O Dataplex Universal Catalog mantém automaticamente as entradas do sistema atualizadas com a sincronização contínua de metadados dos sistemas Google Cloud compatíveis.
Não é possível modificar os metadados preenchidos automaticamente (chamados de aspectos obrigatórios) para entradas do sistema. Só é possível adicionar e modificar outros metadados para entradas do sistema usando aspectos opcionais. Para mais informações, consulte Categorias de aspectos.
Entradas personalizadas: são as entradas que você pode criar e gerenciar para recursos personalizados. Os recursos personalizados são os recursos em serviços que não são do Google e que são hospedados em Google Cloud ou externamente (por exemplo, no local).
Grupos de entradas
Um grupo de entradas é um contêiner para uma ou mais entradas. Você pode usar grupos de entradas para gerenciar o controle de acesso e a localização regional das entradas. Cada grupo de entradas pertence a um projeto.
Categorias de grupos de entradas
Grupos de entrada do sistema: para recursos do Google Cloud , o Catálogo Universal do Dataplex cria automaticamente grupos de entrada para cada sistema em todos os projetos e locais em que os recursos estão. Por exemplo,
@bigqueryé o grupo de entrada do sistema para o BigQuery.Grupos de entradas personalizadas: grupos de entradas criados para recursos personalizados.
Tipos de entrada
Os tipos de entrada definem os metadados obrigatórios para entradas desse tipo usando um conjunto de tipos de aspectos obrigatórios.
É possível especificar os tipos de aspecto obrigatórios apenas nas entradas, não nas colunas de uma entrada. Ao criar uma entrada de um tipo específico, é necessário fornecer valores para todos os tipos de aspectos obrigatórios especificados pelo tipo de entrada.
Os tipos de aspectos obrigatórios referenciados em um tipo de entrada precisam pertencer ao mesmo projeto que o tipo de entrada.
Categorias de tipos de entrada
Tipos de entrada personalizados: tipos de entrada que você cria e gerencia. Você pode usar esses tipos de entrada para criar entradas personalizadas.
Tipos de entrada do sistema: o Dataplex Universal Catalog fornece esses tipos de entrada por padrão. Os tipos de entrada do sistema são categorizados em reutilizáveis e restritos.
A tabela a seguir descreve as categorias de tipos de entrada do sistema e a lista de tipos de entrada que o Dataplex Universal Catalog oferece para cada uma das categorias:
Categoria do tipo de entrada do sistema Descrição Tipos de entrada fornecidos pelo Dataplex Universal Catalog Tipo de entrada do sistema reutilizável Você pode usar esse tipo de entrada para criar entradas personalizadas. generic
Tipo de entrada de sistema restrito Eles são reservados para uso do sistema, como a criação de entradas para recursos Google Cloud .
Não é possível usar esses tipos de entrada para criar entradas, mas é possível editar entradas desses tipos para adicionar aspectos opcionais.Incluindo, mas não se limitando a: analytics-hub-exchangeanalytics-hub-listingaspecttypebigquery-datasetbigquery-tablecloudsql-databasecloudsql-instancecloudsql-tableentrygroupentrytypesql-accessstoragestorage-bucketstorage-folder
É possível criar um tipo de entrada personalizado em um local regional específico ou como um recurso global. O local de um tipo de entrada afeta o escopo da aplicabilidade dele. Para mais informações, consulte Restrições de projeto e local.
Os tipos de entrada do sistema são sempre globais. Os tipos de entrada do sistema são armazenados em um
projeto gerenciado pelo Google com ID do projeto 655216118709. Por exemplo, projects/655216118709/locations/global/entryTypes/bigquery-table.
Antes de começar
Antes de gerenciar entradas e ingerir fontes de dados personalizadas, verifique se você concluiu as tarefas descritas nesta seção.
Funções exigidas
Para receber as permissões necessárias para criar e gerenciar entradas, peça ao administrador para conceder a você os seguintes papéis do IAM no recurso:
-
Conjunto completo de permissões em entradas, grupos de entrada e tipos de entrada:
Administrador do catálogo do Dataplex (
roles/dataplex.catalogAdmin) -
Crie e gerencie recursos de metadados no Dataplex Universal Catalog, incluindo entradas, grupos de entrada e tipos de entrada:
Editor de catálogo do Dataplex (
roles/dataplex.catalogEditor) -
Acesso total a operações relacionadas a entradas:
Proprietário de entradas do Dataplex (
roles/dataplex.entryOwner) -
Confira entradas, grupos de entradas e tipos de entradas, além das políticas do IAM associadas a eles:
Leitor do Dataplex Catalog (
roles/dataplex.catalogViewer) -
Use tipos de aspecto para criar aspectos desses tipos ao criar entradas personalizadas:
Usuário de tipos de aspectos do Dataplex (
roles/dataplex.aspectTypeUser) -
Criar e gerenciar grupos de entradas:
Proprietário de grupos de entradas do Dataplex (
roles/dataplex.entryGroupOwner) -
Criar e gerenciar tipos de entradas:
Proprietário de tipos de entradas do Dataplex (
roles/dataplex.entryTypeOwner) -
Use tipos de entrada para criar e modificar entradas desses tipos:
Usuário de tipos de entradas do Dataplex (
roles/dataplex.entryTypeUser)
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.
Para mais informações, consulte Papéis do IAM do Dataplex Universal Catalog.
Ativar a API
Ative a API Dataplex no projeto do Dataplex Universal Catalog.
Criar um grupo de entrada
Console
No console Google Cloud , acesse a página Catálogo do Dataplex Universal Catalog.
Clique na guia Grupos de entradas > Personalizado.
Clique em Criar grupo de entrada (Catálogo do Dataplex).
Na janela Criar grupo de entradas, insira o seguinte:
- Opcional: no campo Nome de exibição, insira um nome de exibição para o grupo de entradas.
- ID do grupo de entradas: insira um ID exclusivo para seu grupo de entradas.
- Opcional: no campo Descrição, insira uma descrição para o grupo de entradas.
- Local: selecione um local. Não é possível modificar o local depois de criar o grupo de entradas.
Opcional: na seção Rótulos, adicione rótulos arbitrários como pares de chave-valor aos recursos:
- Clique em Adicionar rótulo.
- No campo Chave, insira uma chave.
- No campo Valor, insira um valor para a chave.
- Para adicionar mais rótulos, clique em Adicionar rótulo e repita as etapas.
Clique em Salvar.
gcloud
Para criar um grupo de entradas, use o
comando gcloud dataplex entry-groups create.
REST
Para criar um grupo de entradas, use o método
entryGroups.Create.
Criar um tipo de entrada
Para ingerir uma nova fonte, é necessário criar um tipo de entrada.
Console
No console Google Cloud , acesse a página Catálogo do Dataplex Universal Catalog.
Clique na guia Tipos de entrada > Personalizado.
Clique em Criar.
Na janela Criar tipo de entrada, insira o seguinte:
- Opcional: no campo Nome de exibição, insira um nome de exibição para seu tipo de entrada.
- ID do tipo de entrada: insira um ID exclusivo para o tipo de entrada. Não é possível modificar isso depois de criar o tipo de entrada.
- Opcional: no campo Descrição, insira uma descrição para o tipo de entrada.
- Opcional: no campo Sistema, insira o sistema de origem.
- Opcional: no campo Plataforma, insira a plataforma a que as entradas
desse tipo pertencem. Por exemplo,
Google Cloud. - No campo Local, selecione um local. Não é possível mudar o local depois de criar o tipo de entrada.
Opcional: na seção Aliases de tipo, defina o tipo de dados para seu tipo de entrada. O tipo de dados pode ser usado para consultar entradas.
- Clique em Adicionar alias de tipo.
- No campo Alias de tipo, selecione um tipo de dados. É possível adicionar vários aliases de tipo.
Na seção Tipos de aspecto obrigatórios, selecione os tipos de aspecto que são obrigatórios para esse tipo de entrada. Cada entrada criada com base nesse tipo terá esses tipos de aspecto obrigatórios atribuídos. A lista de tipos de aspectos obrigatórios não pode ser modificada depois que você cria o tipo de entrada.
- Clique em Escolher o tipo de aspecto.
- Na janela Selecionar tipos de aspecto, escolha o tipo de aspecto.
- Clique em Selecionar.
Não é possível excluir os aspectos obrigatórios de uma entrada.
Opcional: na seção Rótulos, adicione rótulos arbitrários como pares de chave-valor aos recursos:
- Clique em Adicionar rótulo.
- No campo Chave, insira uma chave.
- No campo Valor, insira um valor para a chave.
- Para adicionar mais rótulos, clique em Adicionar rótulo e repita as etapas.
Clique em Salvar.
gcloud
Para criar um tipo de entrada, use o
comando gcloud dataplex entry-types create.
REST
Para criar um tipo de entrada, use o método
entryTypes.create.
Criar uma entrada personalizada
Antes de criar uma entrada personalizada, verifique se você criou um grupo de entradas e um tipo de entrada.
Console
Não é possível criar uma entrada personalizada usando o console do Google Cloud . Em vez disso, use a Google Cloud CLI ou a API.
gcloud
Para criar uma entrada personalizada, use o
comando gcloud dataplex entries create.
REST
Para criar uma entrada personalizada, use o
método
entries.create.
Depois de criar uma entrada personalizada, é possível adicionar aspectos a ela. Para mais informações, consulte Adicionar aspectos a uma entrada.
Gerenciar grupos de entradas
Nesta seção, descrevemos como ver a lista de grupos de entradas disponíveis, conferir detalhes, atualizar e excluir grupos de entradas.
Conferir a lista de grupos de entradas disponíveis
Console
No console Google Cloud , acesse a página Catálogo do Dataplex Universal Catalog.
Clique na guia Grupos de entradas.
Nesta página, listamos todos os grupos de entrada disponíveis do Dataplex Universal Catalog e do Data Catalog.
Para ver os grupos de entradas personalizados, clique na guia Personalizado. Na guia Personalizado, a coluna Origem do catálogo mostra onde o recurso está localizado: no Dataplex Universal Catalog ou no Data Catalog.
Para ver os grupos de entradas do sistema, clique na guia Sistema.
Para mais informações sobre grupos de entradas personalizados e do sistema, consulte a seção categorias de grupos de entradas deste documento.
Opcional: para conferir a lista de grupos de entradas no projeto selecionado, clique na guia Personalizado e depois no botão Mostrar de todos os projetos para desativar.
A opção Mostrar de todos os projetos fica ativada por padrão, e a lista inclui recursos do Dataplex Universal Catalog da organização selecionada e recursos do Data Catalog de todas as organizações a que você tem acesso.
gcloud
Para conferir a lista de grupos de entradas disponíveis, use o
comando gcloud dataplex entry-groups list.
REST
Para conferir a lista de grupos de entrada disponíveis, use o método
entryGroups.list.
Ver detalhes de um grupo de entradas
Console
No console Google Cloud , acesse a página Catálogo do Dataplex Universal Catalog.
Clique na guia Grupos de entradas.
Clique no grupo de entradas para ver os detalhes.
A página de detalhes do grupo de entrada é aberta. Você pode acessar informações como nome de exibição, ID do grupo de entradas, descrição, ID do projeto, local, rótulos, data de criação e data da última modificação do grupo de entradas selecionado.
Para um grupo de entrada do Data Catalog, é possível conferir os detalhes nas interfaces da Web do Data Catalog e do Dataplex Universal Catalog. Para isso, na página de detalhes do grupo de entrada, clique em Data Catalog ou Dataplex Catalog.
A seção Entradas de exemplo mostra 10 entradas relacionadas criadas recentemente no grupo de entradas selecionado.
Opcional: para ver todas as entradas relacionadas a um grupo de entradas, na seção Entradas de amostra, clique em Mostrar todas as entradas relacionadas na pesquisa.
gcloud
Para recuperar os detalhes de um grupo de entradas, use o
comando gcloud dataplex entry-groups describe.
REST
Para recuperar os detalhes de um grupo de entradas, use o
método
entryGroups.get.
Atualizar um grupo de entradas
É possível atualizar um grupo de entradas personalizado. Não é possível modificar grupos de entradas do sistema.
Console
No console Google Cloud , acesse a página Catálogo do Dataplex Universal Catalog.
Clique na guia Grupos de entradas > Personalizado.
Clique no grupo de entradas que você quer atualizar.
Na página Detalhes do grupo de entradas, clique em Editar.
Edite o nome de exibição, a descrição e os rótulos, conforme necessário.
Clique em Salvar.
gcloud
Para atualizar um grupo de entradas, use o
comando gcloud dataplex entry-groups update.
REST
Para atualizar um grupo de entradas, use o
método
entryGroups.patch.
Excluir um grupo de entradas
É possível excluir um grupo de entradas personalizadas. Não é possível excluir grupos de entradas do sistema.
Console
No console Google Cloud , acesse a página Catálogo do Dataplex Universal Catalog.
Clique na guia Grupos de entradas > Personalizado.
Clique no grupo de entradas que você quer excluir.
Na página Detalhes do grupo de entradas, clique em Excluir. Confirme quando solicitado.
gcloud
Para excluir um grupo de entradas, use o
comando gcloud dataplex entry-groups delete.
REST
Para excluir um grupo de entradas, use o método
entryGroups.delete.
Gerenciar tipos de entradas
Nesta seção, descrevemos como ver a lista de grupos de entradas disponíveis, conferir detalhes, atualizar e excluir tipos de entradas.
Confira a lista de tipos de entrada disponíveis
Console
No console Google Cloud , acesse a página Catálogo do Dataplex Universal Catalog.
Clique na guia Tipos de entrada.
Para ver os tipos de entrada personalizados, clique na guia Personalizado. Para ver os tipos de entradas do sistema, clique na guia Sistema. Para mais informações sobre tipos de entradas personalizados e do sistema, consulte a seção categorias de tipos de entradas deste documento.
Opcional: para conferir a lista de tipos de entrada no projeto selecionado, clique na guia Personalizado e depois no botão Mostrar de todos os projetos para desativar.
A opção Mostrar de todos os projetos fica ativada por padrão, e a lista inclui tipos de entrada de todos os projetos.
gcloud
Para conferir a lista de tipos de entrada disponíveis, use o
comando gcloud dataplex entry-types list.
REST
Para conferir a lista de tipos de entradas disponíveis, use o método
entryTypes.list.
Ver detalhes de um tipo de entrada
Console
No console Google Cloud , acesse a página Catálogo do Dataplex Universal Catalog.
Clique na guia Tipos de entrada > Personalizado.
Clique no tipo de entrada para ver os detalhes.
A página de detalhes do tipo de entrada é aberta. Você pode acessar informações como nome de exibição, ID do tipo de entrada, descrição, ID do projeto, local, plataforma, sistema, aliases de tipo, rótulos, data de criação e data da última modificação do tipo de entrada selecionado.
Opcional: para conferir a lista de 10 entradas relacionadas criadas recentemente, clique na guia Entradas de amostra.
Opcional: para ver todas as entradas relacionadas a um grupo, clique na guia Entradas de amostra e em Mostrar todas as entradas relacionadas na pesquisa.
gcloud
Para recuperar os detalhes de um tipo de entrada, use o
comando gcloud dataplex entry-types describe.
REST
Para recuperar os detalhes de um tipo de entrada, use o método
entryTypes.get.
Atualizar um tipo de entrada
Console
No console Google Cloud , acesse a página Catálogo do Dataplex Universal Catalog.
Clique na guia Tipos de entrada > Personalizado.
Clique no tipo de entrada que você quer atualizar.
Na página Detalhes do tipo de entrada, clique em Editar.
Edite o nome de exibição, a descrição, o sistema, a plataforma, os aliases de tipo e os rótulos, conforme necessário.
Clique em Salvar.
gcloud
Para atualizar um tipo de entrada, use o
comando gcloud dataplex entry-types update.
REST
Para atualizar um tipo de entrada, use o
método
entryTypes.patch.
Excluir um tipo de entrada
Console
No console Google Cloud , acesse a página Catálogo do Dataplex Universal Catalog.
Clique na guia Tipos de entrada > Personalizado.
Clique no tipo de entrada que você quer excluir.
Na página Detalhes do tipo de entrada, clique em Excluir. Confirme quando solicitado.
gcloud
Para excluir um tipo de entrada, use o
comando gcloud dataplex entry-types delete.
REST
Para excluir um tipo de entrada, use o método
entryTypes.delete.
A seguir
- Saiba como pesquisar recursos de dados no Dataplex Universal Catalog.
- Saiba como gerenciar aspectos e enriquecer metadados.
- Saiba como importar metadados para o Dataplex Universal Catalog.
- Saiba mais sobre o gerenciamento de metadados no Dataplex Universal Catalog.