Pesquisar recursos no catálogo universal do BigQuery

Este documento descreve como usar a pesquisa no catálogo universal para pesquisar recursos, como conjuntos de dados do BigQuery, instâncias do Cloud SQL e outros. Para mais informações sobre os Google Cloud recursos que são aceitos no catálogo universal, consulte Origens Google Cloud aceitas.

Escopo de pesquisa

Os resultados da pesquisa no catálogo universal respeitam as permissões que você tem sobre os recursos correspondentes nos sistemas de origem.

Por exemplo, se você tiver acesso de leitura do BigQuery a um objeto, esse objeto vai aparecer nos resultados da pesquisa do catálogo universal. Se você tiver acesso a uma tabela do BigQuery, mas não ao conjunto de dados que contém essa tabela, ela ainda será exibida como esperado na pesquisa do catálogo universal.

Os resultados da pesquisa incluem apenas os recursos que pertencem à mesma organização do projeto em que a pesquisa é realizada.

Os resultados da pesquisa incluem apenas os recursos que pertencem ao mesmo perímetro do VPC-SC que o projeto em que a pesquisa é realizada. Ao usar o console do Google Cloud, esse é o projeto selecionado no console.

Para ampliar o escopo dos resultados da pesquisa além dos recursos no perímetro do VPC Service Controls do projeto, use as regras de entrada e saída do VPC Service Controls. Essas regras facilitam a troca de dados particular e eficiente em toda a organização. É possível configurar regras de entrada e saída usando o console do Google Cloud ou arquivos JSON ou YAML. Consulte o exemplo de YAML a seguir e a documentação do VPC Service Controls para adaptar a regra aos seus requisitos específicos.

egressPolicies:
  - egressFrom:
      identityType: ANY_USER_ACCOUNT
    egressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids under which the search is performed.
      resources:
      - projects/SEARCH_PROJECT_ID
ingressPolicies:
  - ingressFrom:
      identityType: ANY_USER_ACCOUNT
      sources:
      - accessLevel: '*'
    ingressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids to expose in search results.
      resources:
      - projects/INGRESS_PROJECT_ID

Para mais informações sobre os papéis do Identity and Access Management necessários para usar a pesquisa universal do catálogo, consulte Papéis do IAM do Dataplex.

Isolar resultados de pesquisa por ambiente usando o VPC Service Controls

Para isolar os resultados da pesquisa do catálogo universal do BigQuery entre ambientes, como desenvolvimento, teste e produção, configure perímetros separados do VPC Service Controls para cada ambiente. Atribua os projetos que contêm os recursos de dados e os projetos usados para realizar pesquisas ao perímetro do ambiente correspondente. As pesquisas realizadas em um projeto dentro de um perímetro específico só retornam resultados de recursos que também estão localizados nesse mesmo perímetro.

Limitações de recuperação na pesquisa

As consultas de pesquisa do catálogo universal não garantem o recall total. É possível que os resultados correspondentes à consulta não sejam retornados, mesmo em páginas de resultados posteriores. Além disso, os resultados retornados (e não retornados) podem variar se você repetir consultas de pesquisa.

Filtros

Os filtros permitem restringir os resultados da pesquisa. Todos os filtros são agrupados em seções:

  • Sistemas, como o BigQuery, o Cloud SQL e outros. O sistema do Dataplex contém entradas personalizadas.
  • Aspectos (tags): lista todos os aspectos disponíveis.
  • Project lista todos os projetos disponíveis para você.
  • Os tipos de alias descrevem tipos de recursos, como bancos de dados, conjuntos de dados, modelos, tabelas, visualizações, serviços e tipos personalizados.
  • Os conjuntos de dados são provenientes do BigQuery.

É possível combinar filtros de várias seções para encontrar recursos que correspondam a pelo menos uma condição de cada seção selecionada. Vários filtros que são selecionados em uma única seção são avaliados usando o operador lógico OR.

Por exemplo, considere a combinação de filtros na imagem a seguir (clique na imagem para ampliar). Estes filtros de pesquisa são selecionados: sistemas BigQuery, tipos de alias table e view, aspectos My aspect type 1 e My aspect type 2, projeto my-test-project e conjuntos de dados test_bq_dataset.

Filtros de pesquisa mostrando várias seleções.

A pesquisa procura os seguintes recursos:

  • Tabelas do BigQuery em test_bq_dataset com aspecto My aspect type 1
  • Tabelas do BigQuery em test_bq_dataset com aspecto My aspect type 2
  • Visualizações do BigQuery em test_bq_dataset com aspecto My aspect type 1
  • Visualizações do BigQuery em test_bq_dataset com aspecto My aspect type 2

Filtrar por valor de aspecto

Os filtros Aspectos permitem consultar recursos marcados usando um modelo específico. Use o menu Personalizar para refinar ainda mais os resultados e filtrar por valores de aspecto específicos. As condições do filtro de valor de aspecto dependem do tipo de dados desse campo. Por exemplo, para os campos datetime e number, é possível especificar uma data específica ou um intervalo.

Filtrar visibilidade

Os filtros Sistemas, Tipo de alias, Projeto e Conjuntos de dados são exibidos dependendo da consulta atual no campo Pesquisar.

Antes de começar

Antes de pesquisar recursos, verifique se você tem as funções necessárias e ative a API.

Funções exigidas

Esta seção descreve as funções e permissões necessárias para pesquisar recursos e acessar os resultados da pesquisa.

Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Também é possível receber as permissões necessárias com papéis personalizados ou outros papéis predefinidos.

Funções necessárias para pesquisar entradas

Para pesquisar entradas, você precisa de pelo menos um dos papéis do IAM para o catálogo universal (Dataplex Catalog) no projeto usado para pesquisa. As permissões nos resultados da pesquisa são verificadas independentemente do projeto selecionado.

Papéis necessários para acessar os resultados da pesquisa

Os resultados da pesquisa no catálogo universal são definidos de acordo com sua função. Para pesquisar um recurso no catálogo universal, você precisa ter permissões para acessar o recurso correspondente no sistema de origem. Para mais informações, consulte a seção Escopo da pesquisa deste documento.

Por exemplo, para pesquisar conjuntos de dados, tabelas, visualizações e modelos do BigQuery, você precisa das respectivas permissões para essas entradas. Para mais informações, consulte Permissões do BigQuery.

A lista a seguir descreve as permissões mínimas necessárias:

  • Para pesquisar uma tabela, você precisa da permissão bigquery.tables.get para ela.
  • Para pesquisar um conjunto de dados, você precisa da permissão bigquery.datasets.get para esse conjunto.
  • Para pesquisar metadados de um conjunto de dados ou uma tabela, você precisa do papel de leitor de metadados do BigQuery (roles/bigquery.metadataViewer).

Como outro exemplo, para pesquisar instâncias, bancos de dados, esquemas, tabelas e visualizações do Cloud SQL, você precisa das respectivas permissões nessas entradas. Para mais informações, consulte Papéis e permissões do Cloud SQL.

Para pesquisar entradas personalizadas, você precisa do papel de leitor do Dataplex Catalog (roles/dataplex.catalogViewer).

Ativar a API

Enable the Dataplex API.

Enable the API

Pesquisar recursos

Console

Para pesquisar recursos, siga estas etapas:

  1. No console do Google Cloud, acesse a página Pesquisa do Dataplex.

    Acesse Pesquisar

  2. Em Escolher plataforma de pesquisa, selecione Dataplex Catalog como o modo de pesquisa.

    Ao selecionar Dataplex Catalog, você pode pesquisar no armazenamento de metadados do catálogo universal. Se você já for usuário do Data Catalog, selecionar Data Catalog vai permitir pesquisar no repositório do Data Catalog.

  3. No campo de pesquisa, digite sua consulta ou use o painel Filtros para refinar os parâmetros de pesquisa.

    É possível adicionar manualmente os seguintes filtros:

    • Adicionar um filtro de projeto: em Projeto, clique em Adicionar projeto. Pesquise um projeto específico, selecione-o e clique em Abrir.
    • Adicionar um filtro de tipo de aspecto: em Aspectos, clique no menu Adicionar mais tipos de aspecto. Pesquise um modelo específico, selecione-o e clique em OK.
  4. Opcional: além dos recursos disponíveis para você, é possível pesquisar recursos disponíveis publicamente em Google Cloud selecionando Incluir conjuntos de dados públicos.

Use as dicas a seguir para criar uma consulta de pesquisa:

  • Insira sua expressão de pesquisa entre aspas se ela contiver espaços. Por exemplo, "search terms".
  • Você pode preceder uma palavra-chave com NOT para corresponder à negação lógica do filtro keyword:term. Também é possível usar os operadores booleanos AND e OR para combinar expressões de pesquisa. Os operadores AND, OR e NOT não diferenciam maiúsculas de minúsculas.

    Por exemplo, NOT column:term lista todas as colunas, exceto aquelas que correspondem ao termo especificado. Para conferir uma lista de palavras-chave e outros termos que podem ser usados em uma expressão de pesquisa de catálogo universal, consulte Sintaxe de pesquisa.

gcloud

Para pesquisar recursos, use o comando gcloud dataplex entries search.

REST

Para pesquisar recursos, use o método searchEntries.

Conferir os detalhes de uma entrada

Console

Use a pesquisa universal do catálogo para conferir os detalhes de uma entrada.

  1. No console do Google Cloud, acesse a página Pesquisa do Dataplex.

    Acesse Pesquisar

  2. Selecione Dataplex Catalog como o modo de pesquisa.

  3. Na caixa de pesquisa, digite o nome de uma entrada.

  4. Clique na entrada.

    A página de detalhes da entrada é aberta. A página inclui as seguintes seções:

    • Detalhes da entrada: inclui informações como tipo de entrada, sistema, plataforma, nome totalmente qualificado, hora de criação, hora da última modificação, descrição e administradores.
    • Visão geral: uma visão geral da entrada, se disponível.
    • Aspectos: os aspectos obrigatórios e opcionais definidos para a entrada. Para mais informações, consulte Categorias de aspectos.

gcloud

Para conferir os detalhes de uma entrada, use o comando gcloud dataplex entries lookup.

REST

Para conferir os detalhes de uma entrada, use o método lookupEntry.

A seguir