Esta página foi traduzida pela API Cloud Translation.

Pesquisar recursos no Dataplex Universal Catalog

Neste documento, descrevemos como usar a pesquisa no Catálogo universal do Dataplex para encontrar recursos como conjuntos de dados do BigQuery, instâncias do Cloud SQL e outros.

Para mais informações sobre os recursos do Google Cloud que são compatíveis com o Dataplex Universal Catalog, consulte Fontes Google Cloud compatíveis.

Escopo de pesquisa

Os resultados da pesquisa no Dataplex Universal Catalog respeitam as permissões que você tem sobre os recursos correspondentes nos sistemas de origem.

Por exemplo, se você tiver acesso de leitura de metadados do BigQuery a um objeto, ele vai aparecer nos resultados da pesquisa do catálogo universal do Dataplex. Se você tiver acesso a uma tabela do BigQuery, mas não ao conjunto de dados que contém essa tabela, ela ainda será exibida como esperado na pesquisa do catálogo universal do Dataplex.

Os resultados da pesquisa incluem apenas os recursos que pertencem à mesma organização do projeto em que a pesquisa é realizada.

Os resultados da pesquisa incluem apenas os recursos que pertencem ao mesmo perímetro do VPC-SC que o projeto em que a pesquisa é realizada. Ao usar o consoleGoogle Cloud , esse é o projeto selecionado no console.

Para ampliar o escopo dos resultados da pesquisa além dos recursos no perímetro do VPC Service Controls do projeto, use as regras de entrada e saída do VPC Service Controls. Essas regras facilitam a troca de dados particular e eficiente em toda a sua organização. É possível configurar regras de entrada e saída usando o console Google Cloud ou arquivos JSON ou YAML. Consulte o exemplo de YAML a seguir e a documentação do VPC Service Controls para adaptar a regra aos seus requisitos específicos.

egressPolicies:
  - egressFrom:
      identityType: ANY_USER_ACCOUNT
    egressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids under which the search is performed.
      resources:
      - projects/SEARCH_PROJECT_ID
ingressPolicies:
  - ingressFrom:
      identityType: ANY_USER_ACCOUNT
      sources:
      - accessLevel: '*'
    ingressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids to expose in search results.
      resources:
      - projects/INGRESS_PROJECT_ID

Para mais informações sobre os papéis do Identity and Access Management necessários para usar a pesquisa do Dataplex Universal Catalog, consulte Papéis do IAM do Dataplex Universal Catalog.

Isolar resultados da pesquisa por ambiente usando o VPC Service Controls

Para isolar os resultados da pesquisa do Catálogo Universal do Dataplex entre ambientes como desenvolvimento, teste e produção, configure perímetros separados do VPC Service Controls para cada ambiente. Atribua os projetos que contêm os recursos de dados e os projetos usados para realizar pesquisas ao perímetro do ambiente correspondente. As pesquisas realizadas em um projeto dentro de um perímetro específico só retornam resultados de recursos que também estão localizados nesse mesmo perímetro.

Limitações de recall na pesquisa

As consultas de pesquisa do Dataplex Universal Catalog não garantem o recall total. É possível que os resultados correspondentes à consulta não sejam retornados, mesmo em páginas de resultados subsequentes. Além disso, os resultados retornados (e não retornados) podem variar se você repetir as consultas de pesquisa.

Para consultar todos os metadados do Dataplex Universal Catalog, exporte-os para o Cloud Storage e faça consultas no BigQuery. Para mais informações, consulte Exportar metadados.

Filtros

Os filtros permitem restringir os resultados da pesquisa. Todos os filtros são agrupados em seções:

Sistemas como BigQuery, Cloud SQL e outros. O sistema do Dataplex Universal Catalog contém entradas personalizadas.
A lista Aspectos (tags) mostra todos os aspectos disponíveis para você.
Projeto lista todos os projetos disponíveis para você.
Os aliases de tipo descrevem tipos de recursos, como bancos de dados, conjuntos de dados, modelos, tabelas, visualizações, serviços e tipos personalizados.
Os conjuntos de dados são provenientes do BigQuery.

É possível combinar filtros de várias seções para encontrar recursos que correspondam a pelo menos uma condição de cada seção selecionada. Vários filtros selecionados em uma única seção são avaliados usando o operador lógico OR.

Por exemplo, considere a combinação de filtros na imagem a seguir. Clique nela para ampliar. Estes filtros de pesquisa estão selecionados: sistemas BigQuery, aliases de tipo table e view, aspectos My aspect type 1 e My aspect type 2, projeto my-test-project e conjuntos de dados test_bq_dataset.

A Pesquisa procura os seguintes recursos:

Tabelas do BigQuery em test_bq_dataset com o aspecto My aspect type 1
Tabelas do BigQuery em test_bq_dataset com o aspecto My aspect type 2
Visualizações do BigQuery em test_bq_dataset com o aspecto My aspect type 1
Visualizações do BigQuery em test_bq_dataset com o aspecto My aspect type 2

Filtrar por valor de aspecto

Com os filtros de Aspectos, é possível consultar recursos marcados com um modelo específico. Use o menu Personalizar para refinar ainda mais os resultados e filtrar por valores de aspectos específicos. As condições de filtro de valor de aspecto dependem do tipo de dados do campo de aspecto. Por exemplo, nos campos datetime e number, é possível especificar uma data ou um período.

Visibilidade do filtro

Os filtros Sistemas, Aliases de tipo, Projeto e Conjuntos de dados são mostrados dependendo da consulta atual no campo Pesquisar.

Antes de começar

Antes de pesquisar recursos, verifique se você tem os papéis necessários e ative a API.

Funções exigidas

Nesta seção, descrevemos os papéis e as permissões necessários para pesquisar recursos e acessar os resultados da pesquisa.

Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Também é possível receber as permissões necessárias com papéis personalizados ou outros papéis predefinidos.

Funções necessárias para pesquisar entradas

Para pesquisar entradas, você precisa de pelo menos uma das seguintes funções do IAM no projeto usado para pesquisa: administrador do Dataplex Catalog, editor do Dataplex Catalog ou leitor do Dataplex Catalog. As permissões nos resultados da pesquisa são verificadas independentemente do projeto selecionado.

Papéis necessários para acessar os resultados da pesquisa

Os resultados da pesquisa no Dataplex Universal Catalog são definidos de acordo com sua função. Para pesquisar um recurso no Dataplex Universal Catalog, você precisa ter permissões de acesso ao recurso correspondente no sistema de origem. Para mais informações, consulte a seção Escopo da pesquisa deste documento.

Por exemplo, para pesquisar conjuntos de dados, tabelas, visualizações e modelos do BigQuery, você precisa das permissões correspondentes para essas entradas. Para mais informações, consulte Permissões do BigQuery.

A lista a seguir descreve as permissões mínimas necessárias:

Para pesquisar uma tabela, você precisa da permissão bigquery.tables.get para ela.
Para pesquisar um conjunto de dados, você precisa da permissão bigquery.datasets.get para ele.
Para pesquisar metadados de um conjunto de dados ou uma tabela, você precisa do papel de leitor de metadados do BigQuery (roles/bigquery.metadataViewer).

Por exemplo, para pesquisar instâncias, bancos de dados, esquemas, tabelas e visualizações do Cloud SQL, você precisa das permissões correspondentes nessas entradas. Para mais informações, consulte Papéis e permissões do Cloud SQL.

Para pesquisar entradas personalizadas, você precisa do papel de Leitor do Dataplex Catalog (roles/dataplex.catalogViewer).

Ativar a API

Enable the Dataplex API.

Enable the API