Sintaxe de pesquisa do Dataplex Universal Catalog

Neste documento, descrevemos a sintaxe das consultas de pesquisa do Dataplex Universal Catalog. Antes de ler este documento, é importante entender os conceitos de gerenciamento de metadados no Dataplex Universal Catalog, como entradas, aspectos, tipos de aspecto, grupos de entrada e tipos de entrada. Para mais informações, consulte Sobre o gerenciamento de metadados no Dataplex Universal Catalog.

O Dataplex Universal Catalog oferece dois modos de pesquisa: por palavra-chave e em linguagem natural (prévia).

Com a pesquisa por palavra-chave, você encontra recursos usando palavras-chave, filtros e uma sintaxe definida.

A pesquisa com linguagem natural estende a pesquisa de palavras-chave para oferecer suporte a consultas em linguagem natural. Ele permite encontrar recursos usando linguagem cotidiana, eliminando a necessidade de sintaxes complexas.

Este documento aborda a sintaxe para pesquisas por palavra-chave e em linguagem natural.

Para iniciar uma consulta de pesquisa do Universal Catalog do Dataplex no consoleGoogle Cloud , acesse a página Pesquisar do Universal Catalog do Dataplex e selecione Universal Catalog do Dataplex como a plataforma de pesquisa.

Acesse Pesquisar

Para mais informações, consulte Pesquisar recursos no Dataplex Universal Catalog.

Pesquisa de texto livre

É possível encontrar recursos inserindo um termo ou uma frase sem sintaxe específica. O Dataplex Universal Catalog faz uma pesquisa ampla comparando sua consulta com vários campos de metadados, incluindo:

  • Nome, nome de exibição ou descrição de um recurso
  • Tipo de um recurso
  • ID do projeto
  • Descrição da visão geral
  • Nome da coluna (ou nome da coluna aninhada) no esquema de um recurso.
  • Descrição da coluna
  • Nome totalmente qualificado
  • Contatos
  • Aspectos

Pesquisar com a sintaxe de consulta

Para pesquisas mais precisas, crie uma consulta usando uma sintaxe específica, incluindo qualificadores, operadores lógicos e pesquisas de aspectos.

Predicados qualificados

Você pode qualificar um predicado usando um prefixo com uma chave que restringe a correspondência a uma parte específica dos metadados:

  • Um sinal de igual (=) restringe a pesquisa a uma correspondência exata.
  • Dois pontos (:) após a chave correspondem ao predicado em um substring ou um token dentro do valor nos resultados da pesquisa.

A tokenização divide o fluxo de texto em uma série de tokens, cada um geralmente correspondente a uma palavra.

Exemplo:

  • name:foo seleciona recursos com nomes que contêm a substring foo, como foo1 e barfoo.
  • description:foo seleciona recursos com o token foo na descrição, como bar e foo.
  • location=foo corresponde a recursos em um local especificado com foo como nome do local.

O comportamento desses qualificadores pode variar um pouco entre os modos de pesquisa, conforme detalhado nas seções a seguir.

As chaves de predicado type, system, location e orgid aceitam apenas o qualificador de correspondência exata (=), não o de substring (:). Por exemplo, type=foo ou orgid=number.

O Dataplex Universal Catalog oferece suporte aos seguintes qualificadores para pesquisa por palavra-chave:

Qualificador Descrição
name:x Corresponde a x como uma substring do ID do recurso.
displayname:x Corresponda x como substring do nome de exibição do recurso.
column:x Corresponde x como uma substring do nome da coluna (ou nome da coluna aninhada) no esquema do recurso.
description:x Corresponde x como um token na descrição do recurso.
label:bar Corresponde a recursos do BigQuery que têm um rótulo (com algum valor) e a chave de rótulo tem bar como substring.
label=bar Corresponde a recursos do BigQuery que têm um rótulo (com algum valor) e a chave de rótulo é igual a bar como uma string.
label:bar:x Corresponde a x como uma substring no valor de um rótulo com a chave bar anexada a um recurso do BigQuery.
label=foo:bar Corresponde a recursos do BigQuery em que a chave é igual a foo e o valor da chave é igual a bar.
label.foo=bar Corresponde a recursos do BigQuery em que a chave é igual a foo e o valor da chave é igual a bar.
label.foo Corresponde a recursos do BigQuery que têm um rótulo cuja chave é igual a foo como uma string.
type=TYPE Corresponde a recursos de um tipo de entrada específico ou ao alias dele.
projectid:bar Corresponde a recursos em projetos Google Cloud que correspondem abarcomo uma substring no ID.
parent:x Corresponde a x como uma substring do caminho hierárquico de um recurso. O caminho principal é um fully_qualified_name do recurso principal.
orgid=number Corresponde os recursos em uma organização Google Cloud ao valor exato do ID de number.
system=SYSTEM Corresponde a recursos de um sistema especificado.
location=LOCATION

Corresponde recursos em um local especificado com um nome exato. Por exemplo, location=us-central1 corresponde a recursos hospedados em Iowa.

Os recursos do BigQuery Omni oferecem suporte a esse qualificador usando o nome do local do BigQuery Omni. Por exemplo, location=aws-us-east-1 corresponde a recursos do BigQuery Omni no norte da Virgínia.

createtime

Encontra recursos criados em, antes ou depois de uma determinada data ou hora.

Exemplo:

  • createtime:2019-01-01 corresponde a recursos criados em 01/01/2019.
  • createtime<2019-02 corresponde a recursos criados antes de 2019-02-01T00:00:00.
  • createtime>2019-02 corresponde a recursos criados após 2019-02-01T00:00:00.

Formato do carimbo de data/hora: YYYY-MM-DDThh:mm:ss

Todos os carimbos de data/hora precisam estar em GMT. Fusos horários não são aceitos. Timestamps parciais e separadores de data com hífen (-) e barra (/) são aceitos.

Exemplo:

  • 2010-10-22T05:36:24
  • 2010-10-22T05:36
  • 2010-10-22T05
  • 2010-10-22
  • 2010-10
  • 2010
  • 2010/10/22
updatetime

Encontra recursos que foram atualizados em, antes ou depois de uma determinada data ou hora.

Exemplo:

  • updatetime:2019-01-01 corresponde aos recursos atualizados em 2019-01-01.
  • updatetime<2019-02 corresponde a recursos atualizados antes de 2019-02-01T00:00:00.
  • updatetime>2019-02 corresponde a recursos atualizados após 2019-02-01T00:00:00.

Formato do carimbo de data/hora: YYYY-MM-DDThh:mm:ss

Todos os carimbos de data/hora precisam estar em GMT. Fusos horários não são aceitos. Timestamps parciais e separadores de data com hífen (-) e barra (/) são aceitos.

Exemplo:

  • 2010-10-22T05:36:24
  • 2010-10-22T05:36
  • 2010-10-22T05
  • 2010-10-22
  • 2010-10
  • 2010
  • 2010/10/22
fully_qualified_name:x Corresponde a x como uma substring de fully_qualified_name.
fully_qualified_name=x Corresponde a x como fully_qualified_name.

As chaves de predicado type, system, location e description, e a pesquisa de aspectos (exceto has) oferecem suporte apenas ao qualificador de correspondência exata (=), não ao qualificador de substring (:). Por exemplo, type=foo.

O Dataplex Universal Catalog é compatível com os seguintes qualificadores para pesquisa em linguagem natural:

Qualificador Descrição
name:x Corresponde a x como uma substring do ID ou do nome de exibição do recurso.
displayname:x Corresponda x como substring do nome de exibição do recurso.
column:x Corresponde x como uma substring do nome da coluna (ou nome da coluna aninhada) no esquema do recurso.
description:x Corresponde x como um token na descrição do recurso.
labels:bar Corresponde a recursos do BigQuery que têm um rótulo (com algum valor) e a chave de rótulo tem bar como substring.
labels=bar Corresponde a recursos do BigQuery que têm um rótulo (com algum valor) e a chave de rótulo é igual a bar como uma string.
labels.bar:x Corresponde a x como uma substring no valor de um rótulo com a chave bar anexada a um recurso do BigQuery.
labels.foo=bar Corresponde a recursos do BigQuery em que a chave é igual a foo e o valor da chave é igual a bar.
type=TYPE Corresponde a recursos de um tipo de entrada específico ou ao alias dele.
projectid:bar Corresponde a recursos em projetos Google Cloud que correspondem abarcomo uma substring no ID.
parent:x Corresponde a x como uma substring do caminho hierárquico de um recurso.
system=SYSTEM Corresponde a recursos de um sistema especificado.
location=LOCATION

Corresponde recursos em um local especificado com um nome exato. Por exemplo, location=us-central1 corresponde a recursos hospedados em Iowa.

Os recursos do BigQuery Omni oferecem suporte a esse qualificador usando o nome do local do BigQuery Omni. Por exemplo, location=aws-us-east-1 corresponde a recursos do BigQuery Omni no norte da Virgínia.

createtime

Encontra recursos criados em, antes ou depois de uma determinada data ou hora.

Exemplo:

  • createtime:2019-01-01 corresponde a todos os recursos criados em 2019-01-01.
  • createtime<2019-02 corresponde a todos os recursos criados antes de 2019-02-01T00:00:00.
  • createtime>2019-02 corresponde a todos os recursos criados após 2019-02-01T00:00:00.
  • createtime>-30d corresponde a todos os recursos criados nos últimos 30 dias.
  • createtime<=-30d corresponde a todos os recursos criados há 30 dias ou antes.
  • createtime<=-1d corresponde a todos os recursos criados no dia anterior.

Formato do carimbo de data/hora: YYYY-MM-DDThh:mm:ss

Todos os carimbos de data/hora precisam estar em GMT. Fusos horários não são aceitos. Timestamps parciais e separadores de data com hífen (-) e barra (/) são aceitos.

Exemplo:

  • 2010-10-22T05:36:24
  • 2010-10-22T05:36
  • 2010-10-22T05
  • 2010-10-22
  • 2010-10
  • 2010
  • 2010/10/22
updatetime

Encontra recursos que foram atualizados em, antes ou depois de uma determinada data ou hora.

Exemplo:

  • updatetime:2019-01-01 corresponde a todos os recursos atualizados em 01/01/2019.
  • updatetime<2019-02 corresponde a todos os recursos atualizados antes de 2019-02-01T00:00:00.
  • updatetime>2019-02 corresponde a todos os recursos atualizados após 2019-02-01T00:00:00.
  • updatetime>-30d corresponde a todos os recursos atualizados nos últimos 30 dias.
  • updatetime<-30d corresponde a todos os recursos atualizados há 30 dias ou mais.
  • updatetime=-1d corresponde a todos os recursos atualizados no dia anterior.
  • updatetime>=-30d corresponde a todos os recursos atualizados nos últimos 30 dias.
  • updatetime<=-30d corresponde a todos os recursos atualizados há 30 dias ou mais.

Formato do carimbo de data/hora: YYYY-MM-DDThh:mm:ss

Todos os carimbos de data/hora precisam estar em GMT. Fusos horários não são aceitos. Timestamps parciais e separadores de data com hífen (-) e barra (/) são aceitos.

Exemplo:

  • 2010-10-22T05:36:24
  • 2010-10-22T05:36
  • 2010-10-22T05
  • 2010-10-22
  • 2010-10
  • 2010
  • 2010/10/22

Para pesquisar entradas com base nos aspectos anexados, use a seguinte sintaxe de consulta.

Pesquisa por palavra-chave

Qualificador Descrição
aspect:x Corresponde a x como uma substring do caminho completo para o tipo de aspecto de um aspecto anexado à entrada, no formato projectid.location.ASPECT_TYPE_ID.
aspect=x Corresponde a x como o caminho completo para o tipo de aspecto de um aspecto anexado à entrada, no formato projectid.location.ASPECT_TYPE_ID.
aspect:xOPERATORvalue

Pesquisa valores de campo de aspecto. Corresponde a x como uma substring do caminho completo para o tipo de aspecto e o nome do campo de um aspecto anexado à entrada, no formato projectid.location.ASPECT_TYPE_ID.FIELD_NAME.

A lista de operadores compatíveis depende do tipo de campo no aspecto, da seguinte forma:

  • String: = (correspondência exata) e : (substring)
  • Todos os tipos de números: =, :, <, >, <=, >=, =>, =<
  • Enum: =
  • Data e hora: igual aos números, mas os valores a serem comparados são tratados como datas e horas em vez de números.
  • Booleano: =

Somente campos de nível superior do aspecto podem ser pesquisados.

Por exemplo, todas as consultas a seguir correspondem a entradas em que o valor do campo is-enrolled no aspecto employee-info é true. Outras entradas que correspondem à substring também são retornadas.

  • aspect:example-project.us-central1.employee-info.is-enrolled=true
  • aspect:example-project.us-central1.employee=true
  • aspect:employee=true

Pesquisa com linguagem natural

Qualificador Descrição
has:x Corresponde a x como uma substring do caminho completo para o tipo de aspecto de um aspecto anexado à entrada, no formato projectid.location.ASPECT_TYPE_ID.
has=x Corresponde a x como o caminho completo para o tipo de aspecto de um aspecto anexado à entrada, no formato projectid.location.ASPECT_TYPE_ID.
has:xOPERATORvalue

Pesquisa valores de campo de aspecto. Corresponde a x como uma substring do caminho completo para o tipo de aspecto e o nome do campo de um aspecto anexado à entrada, nos seguintes formatos:

  • Sintaxe para tipos de aspectos do sistema:

    • ASPECT_TYPE_ID.FIELD_NAME
    • dataplex-types.ASPECT_TYPE_ID.FIELD_NAME
    • dataplex-types.LOCATION.ASPECT_TYPE_ID.FIELD_NAME

    Por exemplo, as consultas a seguir correspondem a entradas em que o valor do campo type no aspecto bigquery-dataset é default:

    • bigquery-dataset.type=default
    • dataplex-types.bigquery-dataset.type=default
    • dataplex-types.global.bigquery-dataset.type=default

  • Sintaxe para tipos de aspectos personalizados:

    • Se o aspecto for criado na região global: PROJECT_ID.ASPECT_TYPE_ID.FIELD_NAME
    • Se o aspecto for criado em uma região específica: PROJECT_ID.REGION.ASPECT_TYPE_ID.FIELD_NAME

    Por exemplo, as consultas a seguir correspondem a entradas em que o valor do campo is-enrolled no aspecto employee-info é true.

    • example-project.us-central1.employee-info.is-enrolled=true
    • example-project.employee-info.is-enrolled=true

    A lista de operadores compatíveis depende do tipo de campo no aspecto, da seguinte forma:

    • String: = (correspondência exata)
    • Todos os tipos de números: =, :, <, >, <=, >=, =>, =<
    • Enum: =
    • Data e hora: igual aos números, mas os valores a serem comparados são tratados como datas e horas em vez de números.
    • Booleano: =

Somente campos de nível superior do aspecto podem ser pesquisados.

Operadores lógicos

Uma consulta pode consistir em vários predicados com operadores lógicos. Se você não especificar um operador, o AND lógico ficará implícito. Por exemplo, foo bar retorna recursos que correspondem aos predicados foo e bar.

Os operadores lógicos AND e OR são compatíveis. Por exemplo, foo OR bar.

É possível negar um predicado com um prefixo - (hífen) ou NOT. Por exemplo, -name:foo retorna recursos com nomes que não correspondem ao predicado foo.

Sintaxe abreviada

Uma sintaxe de pesquisa abreviada também está disponível, usando | (barra vertical) para operadores OR e , (vírgula) para operadores AND.

Por exemplo, para procurar entradas dentro de um dos vários projetos usando o operador OR, use a seguinte sintaxe abreviada:

projectid:(id1|id2|id3|id4)

A mesma pesquisa sem usar a sintaxe abreviada seria assim:

projectid:id1 OR projectid:id2 OR projectid:id3 OR projectid:id4

Para pesquisar entradas com nomes de coluna correspondentes, use o seguinte:

  • AND: column:(name1, name2, name3)
  • OR: column:(name1|name2|name3)

Essa sintaxe abreviada funciona para os predicados qualificados, exceto label na pesquisa de palavras-chave.

A seguir