Este documento descreve como criar e gerenciar tipos de entrada, grupos de entrada e entradas personalizadas para permitir a integração de fontes de dados personalizadas ao Dataplex.
Uma entrada representa um recurso para o qual você captura metadados. Um grupo de entrada é é um contêiner para uma ou mais entradas, usado para gerenciar o controle de acesso o local. Um tipo de entrada define os metadados necessários para as entradas. Tipos de entrada para reunir estrutura e regras em um recurso de entrada de fluxo livre e pouco definido, permitindo que as entradas sejam extensíveis.
Para integrar uma fonte de dados personalizada ao Dataplex, crie uma entrada usando um tipo de entrada personalizado que está em um grupo de entrada personalizado. A criação de uma entrada personalizada envolve as seguintes etapas avançadas:
- Criar um grupo de entrada.
- Crie um tipo de entrada.
- Crie uma entrada personalizada para o tipo de entrada no grupo de entrada.
Entradas
Uma entrada representa um recurso de dados para o qual você captura metadados. Cada entrada é
uma instância de um tipo de entrada. Cada operação nos aspectos de uma entrada precisa
cumpram os aspectos exigidos de seu tipo de entrada. Por exemplo, quando você cria
uma entrada, você deve fornecer valores para todos os tipos de aspecto definidos pelo
tipo de entrada. Não é possível excluir esses aspectos de uma entrada marcada como
required
no tipo de entrada.
Categorias de entradas
Entradas do sistema: o Dataplex cria entradas para o Google Cloud. recursos, como conjuntos de dados ou tabelas do BigQuery. As entradas que As criações do Dataplex são chamadas de entradas do sistema. Dataplex mantém as entradas do sistema atualizadas automaticamente com metadados contínuos a sincronização dos sistemas do Google Cloud com suporte.
Não é possível modificar os metadados preenchidos automaticamente (chamados de aspectos) para entradas do sistema. Só é possível adicionar e modificar metadados adicionais para entradas do sistema usando aspectos opcionais. Para mais informações, consulte Categorias de aspectos.
Entradas personalizadas: entradas que você pode criar e gerenciar recursos personalizados são chamadas de entradas personalizadas. Os recursos personalizados são os recursos em serviços que não são do Google hospedados no Google Cloud ou externamente. por exemplo, no local.
Grupos de entradas
Um grupo de entrada é um contêiner para uma ou mais entradas. Você pode usar grupos de entradas para gerenciar o controle de acesso e a localização regional das entradas. Todas as entradas grupo pertence a um projeto.
Categorias de grupos de entradas
Grupos de entrada do sistema: para recursos do Google Cloud, o Dataplex cria automaticamente grupos de entradas para cada sistema em cada projeto e o local onde os recursos estão. Por exemplo,
@bigquery
é a entrada do sistema para o BigQuery.Grupos de entradas personalizados: grupos de entradas criados para recursos personalizados.
Tipos de entrada
Os tipos de entrada definem os metadados necessários para entradas desse tipo usando um conjunto de tipos de aspecto obrigatórios.
Só é possível especificar os tipos de aspecto necessários nas entradas, colunas de uma entrada. Quando você cria uma entrada de um tipo específico, você deve fornecer valores para todos os tipos de aspecto obrigatórios especificados pelo tipo de entrada.
Os tipos de aspecto obrigatórios referenciados em um tipo de entrada precisam pertencer ao mesmo projeto.
Categorias de tipos de entrada
Tipos de entrada personalizados: tipos de entrada que você cria e gerencia. Você pode usar esses tipos de entrada para criar entradas personalizadas.
Tipos de entrada do sistema: o Dataplex fornece esses tipos de entrada. por padrão. Os tipos de entrada do sistema são categorizados em reutilizáveis e restritos.
A tabela a seguir descreve as categorias dos tipos de entrada do sistema e as lista de tipos de entrada que o Dataplex fornece para cada uma das categorias:
Categoria do tipo de entrada do sistema Descrição Tipos de entrada que o Dataplex fornece Tipo de entrada do sistema reutilizável Você pode usar esse tipo de entrada para criar entradas personalizadas. generic
Tipo de entrada do sistema restrito Eles são reservados para uso do sistema, como a criação de entradas para recursos do Google Cloud.
Não é possível usar esses tipos de entrada para criar entradas, mas você pode editá-las desses tipos de entrada para adicionar aspectos opcionais.bigquery-connection
bigquery-dataset
bigquery-model
bigquery-routine
bigquery-table
bigquery-view
cloudsql-database
cloudsql-instance
cloudsql-schema
cloudsql-table
cloudsql-view
sql-access
storage
storage-bucket
storage-folder
Você pode criar um tipo de entrada personalizado em um local regional específico ou como um recurso global. Os tipos de entrada do sistema são sempre globais. A localização de um tipo de entrada afeta o escopo de sua aplicabilidade. Para mais informações, consulte Restrições de projeto e local.
Antes de começar
Antes de gerenciar entradas e ingerir origens de dados personalizadas, concluiu as tarefas descritas nesta seção.
Funções exigidas
Para ter as permissões necessárias para criar e gerenciar entradas, peça ao administrador para conceder a você os seguintes papéis do IAM no recurso:
-
Conjunto completo de permissões para entradas, grupos de entradas e tipos de entrada:
Administrador de catálogo do Dataplex (
roles/dataplex.catalogAdmin
) -
Criar e gerenciar todos os recursos do catálogo do Dataplex, incluindo entradas, grupos de entradas e tipos de entrada:
Editor de catálogo do Dataplex (
roles/dataplex.catalogEditor
) -
Acesso total a operações relacionadas à entrada:
Proprietário de entradas do Dataplex (
roles/dataplex.entryOwner
) -
Veja as entradas, os grupos de entradas e os tipos de entrada, além das políticas do IAM associadas a eles:
Leitor de catálogo do Dataplex (
roles/dataplex.catalogViewer
) -
Use os tipos de aspecto para criar aspectos desses tipos ao criar entradas personalizadas:
Usuário de tipo de aspecto do Dataplex (
roles/dataplex.aspectTypeUser
) -
Criar e gerenciar grupos de entrada:
Proprietário do grupo de entradas do Dataplex (
roles/dataplex.entryGroupOwner
) -
Criar e gerenciar tipos de entrada:
Proprietário de tipo de entrada do Dataplex (
roles/dataplex.entryTypeOwner
) -
Use tipos de entrada para criar e modificar entradas destes tipos:
Usuário de tipo de entrada do Dataplex (
roles/dataplex.entryTypeUser
)
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.
Para mais informações, consulte Papéis do IAM do Dataplex.
Ativar a API
Ativar a API Dataplex no seu projeto do Dataplex.
Criar um grupo de entrada
Console
No console do Google Cloud, acesse a página Catálogo do Dataplex.
Clique na guia Grupos de entrada > Personalizado.
Clique em Criar.
Na janela Criar grupo de entrada, digite o seguinte:
- Opcional: no campo Nome de exibição, insira o nome de exibição grupo de entrada.
- ID do grupo de entradas: digite um ID exclusivo para o grupo de entradas.
- Opcional: no campo Descrição, insira uma descrição para o grupo de entrada.
- Local: selecione um local. Não é possível modificar o local após antes de criar o grupo de entrada.
Opcional: na seção Rótulos, adicione rótulos arbitrários como pares de chave-valor aos recursos:
- Clique em Adicionar rótulo.
- No campo Chave, insira uma chave.
- No campo Valor, insira um valor para a chave.
- Para adicionar mais rótulos, clique em Adicionar rótulo e repita as etapas.
Clique em Salvar.
REST
Para criar um grupo de entrada, use o
entryGroups.Create
.
Criar um tipo de entrada
Para ingerir uma nova origem, você precisa criar um tipo de entrada.
Console
No console do Google Cloud, acesse a página Catalog do Dataplex.
Clique na guia Tipos de entrada > Personalizado.
Clique em Criar.
Na janela Criar tipo de entrada, digite o seguinte:
- Opcional: no campo Nome de exibição, insira o nome de exibição tipo de entrada.
- ID do tipo de entrada: insira um ID exclusivo para o tipo de entrada. Você não pode modifique isso depois de criar o tipo de entrada.
- Opcional: no campo Descrição, insira uma descrição para o tipo de entrada.
- Opcional: no campo Sistema, insira o sistema de origem.
- Opcional: no campo Plataforma, insira a plataforma que
deste tipo pertencem. Por exemplo,
Google Cloud
. - No campo Local, selecione uma opção. Não é possível modificar depois de criar o tipo de entrada.
Opcional: na seção Aliases de tipo, defina o tipo de dados para o tipo de entrada. O tipo de dados pode ser usado para consultar entradas.
- Clique em Adicionar alias de tipo.
- No campo Tipo de alias, selecione um tipo de dados. É possível adicionar vários aliases de tipo.
Na seção Tipos de aspecto obrigatórios, selecione os tipos de aspecto que são obrigatórias para este tipo de entrada. Cada entrada criada com base esse tipo terá esses tipos de aspecto obrigatórios atribuídos.
- Clique em Escolher tipo de aspecto.
- Na janela Selecionar tipos de aspecto, selecione o tipo de aspecto.
- Clique em Selecionar.
Não é possível excluir os aspectos obrigatórios de uma entrada.
Opcional: na seção Rótulos, adicione rótulos arbitrários como chave-valor. aos seus recursos:
- Clique em Adicionar rótulo.
- No campo Chave, insira uma chave.
- No campo Valor, insira um valor para a chave.
- Para adicionar mais rótulos, clique em Adicionar rótulo e repita as etapas.
Clique em Salvar.
REST
Para criar um tipo de entrada, use o
método
entryType.create
.
Criar uma entrada personalizada
Antes de criar uma entrada personalizada, verifique se você criou um grupo de entradas e um tipo de entrada.
Console
O console do Google Cloud não oferece suporte à criação de uma entrada personalizada. Em vez disso, use pela Google Cloud CLI ou pela API.
REST
Para criar uma entrada personalizada, use o
entries.create
.
Depois de criar uma entrada personalizada, é possível adicionar aspectos a ela. Para mais informações, consulte Adicionar aspectos a uma entrada.
Gerenciar grupos de entrada
Esta seção descreve como consultar a lista de grupos de entrada disponíveis, conferir detalhes, atualizar e excluir grupos de entrada.
Conferir a lista de grupos de entrada disponíveis
Console
No console do Google Cloud, acesse a página Catálogo do Dataplex.
Clique na guia Grupos de entrada.
É possível acessar a lista de grupos de entradas personalizados e do sistema. Para mais informações, consulte a seção categorias de grupos de entradas deste documento.
Na guia Personalizada, os grupos de entradas com o sufixo
(Data Catalog)
são os grupos de entrada trazidos do Data Catalog.Para ver a lista dos grupos de entradas em todos os projetos, clique no botão Personalizada. Em seguida, clique no botão de alternância Mostrar de todos os projetos para na posição Ativado.
REST
Para ver a lista de grupos de entradas disponíveis, use o
entryGroups.list
.
Mais detalhes de um grupo de entrada
Console
No console do Google Cloud, acesse a página Catálogo do Dataplex.
Clique na guia Grupos de entrada.
Clique no grupo de entradas com os detalhes que você quer conferir.
A página de detalhes do grupo de entrada será aberta. Você pode acessar informações como nome de exibição, ID do grupo de entrada, descrição, ID do projeto, local, rótulos, a data de criação e a data da última modificação do grupo de entradas selecionado.
Se o grupo de entrada for trazido do Data Catalog, indicado com o sufixo
(Data Catalog)
, é possível exibir os detalhes em o Data Catalog e o catálogo do Dataplex do Google Cloud. Para fazer isso, na página de detalhes do grupo de entradas, selecione Data Catalog ou Dataplex Catalog.Para ver a lista de dez entradas relacionadas criadas recentemente, Clique na guia Entradas de amostra.
REST
Para recuperar os detalhes de um grupo de entradas, use o método
entryGroups.get
.
Atualizar um grupo de entrada
Console
No console do Google Cloud, acesse a página Catálogo do Dataplex.
Clique na guia Grupos de entrada > Personalizado.
Clique no grupo de entrada que você quer atualizar.
Na página Detalhes do grupo de entradas, clique em Editar.
Edite o nome de exibição, a descrição e os rótulos conforme necessário.
Clique em Salvar.
REST
Para atualizar um grupo de entradas, use o
entryGroups.patch
.
Excluir um grupo de entradas
Console
No console do Google Cloud, acesse a página Catálogo do Dataplex.
Clique na guia Grupos de entrada > Personalizado.
Clique no grupo de entrada que você quer excluir.
Na página Detalhes do grupo de entradas, clique em Excluir. Confirmar quando solicitado.
REST
Para excluir um grupo de entradas, use o
entryGroups.delete
.
Gerenciar tipos de entrada
Esta seção descreve como conferir a lista de grupos de entrada disponíveis, conferir detalhes, atualizar e excluir tipos de entrada.
Consultar a lista de tipos de entrada disponíveis
Console
No console do Google Cloud, acesse a página Catálogo do Dataplex.
Clique na guia Tipos de entrada.
Você pode acessar a lista de tipos de entrada personalizados e do sistema. Para mais informações, consulte a seção categorias de tipos de entrada deste documento.
Para conferir a lista de tipos de entrada em todos os projetos, clique na guia Personalizado e ative a opção Mostrar de todos os projetos.
REST
Para ver a lista de tipos de entrada disponíveis, use o menu suspenso
entryTypes.list
.
Mais detalhes de um tipo de entrada
Console
No console do Google Cloud, acesse a página Catálogo do Dataplex.
Clique na guia Tipos de entrada > Personalizado.
Clique no tipo de entrada cujos detalhes você quer ver.
A página de detalhes do tipo de entrada será aberta. Você pode acessar informações como nome de exibição, ID do tipo de entrada, descrição, ID do projeto, local, plataforma, sistema, aliases de tipo, marcadores, data de criação e data da última modificação de o tipo de entrada selecionado.
Para ver a lista de dez entradas relacionadas criadas recentemente, Clique na guia Entradas de amostra.
REST
Para extrair os detalhes de um tipo de entrada, use o
método
entryTypes.get
.
Atualizar um tipo de entrada
Console
No console do Google Cloud, acesse a página Catálogo do Dataplex.
Clique na guia Tipos de entrada > Personalizado.
Clique no tipo de entrada que você quer atualizar.
Na página Detalhes do tipo de entrada, clique em Editar.
editar o nome de exibição, a descrição, o sistema, a plataforma, os aliases de tipo; e rótulos, conforme necessário.
Clique em Salvar.
REST
Para atualizar um tipo de entrada, use o método
entryTypes.patch
.
Excluir um tipo de entrada
Console
No console do Google Cloud, acesse a página Catálogo do Dataplex.
Clique na guia Tipos de entrada > Personalizado.
Clique no tipo de entrada que você quer excluir.
Na página Detalhes do tipo de entrada, clique em Excluir. Confirmar quando solicitado.
REST
Para excluir um tipo de entrada, use o método
entryTypes.delete
.
A seguir
- Saiba como pesquisar recursos de dados no Dataplex Catalog.
- Saiba como gerenciar aspectos e aprimorar metadados.
- Saiba como importar metadados para o Dataplex.
- Saiba mais sobre o Catálogo do Dataplex.