Trabalhar com analisadores de texto

A páginaCREATE SEARCH INDEX Instrução DDL ,SEARCH função e TEXT_ANALYZE função oferece suporte a opções avançadas de configuração do analisador de texto. Entender os analisadores de texto do BigQuery e as opções deles permite refinar sua experiência de pesquisa.

Neste documento, você terá uma visão geral dos diferentes analisadores de texto disponíveis no BigQuery e as opções de configuração. Além disso, você verá exemplos de como eles funcionam com a pesquisa no BigQuery. Para mais informações sobre a sintaxe do analisador de texto, consulte Análise de texto.

Analisadores de texto

O BigQuery oferece suporte aos seguintes analisadores de texto:

• NO_OP_ANALYZER
• LOG_ANALYZER
• PATTERN_ANALYZER

NO_OP_ANALYZER

Use o NO_OP_ANALYZER quando tiver dados pré-processados que você quer corresponder exatamente. Não há tokenização ou normalização aplicada ao texto. Como esse analisador não realiza a tokenização ou normalização, ele não aceita nenhuma configuração. Para mais informações sobre NO_OP_ANALYZER, consulte NO_OP_ANALYZER.

LOG_ANALYZER

O LOG_ANALYZER modifica os dados de texto das seguintes maneiras:

• O texto fica em letras minúsculas.

• Valores ASCII maiores do que 127 são mantidos como estão.

• O texto é dividido em termos individuais, chamados tokens, pelas seguintes delimitadores:

  [ ] < > ( ) { } | ! ; , ' " * & ? + / : = @ . - $ % \ _ \n \r \s \t %21 %26
  %2526 %3B %3b %7C %7c %20 %2B %2b %3D %3d %2520 %5D %5d %5B %5b %3A %3a %0A
  %0a %2C %2c %28 %29
  

  Se você não quiser usar os delimitadores padrão, poderá especificar os delimitadores que quer usar como opções do analisador de texto. LOG_ANALYZER permite configurar delimitadores e filtros de token específicos para ter mais controle sobre os resultados da pesquisa. Para mais informações sobre as opções de configuração específicas disponíveis ao usar asLOG_ANALYZER, consulte delimiters Analyzer etoken_filters Analyzer de dois minutos.

PATTERN_ANALYZER

O analisador de texto PATTERN_ANALYZER extrai tokens do texto usando uma expressão regular. O mecanismo de expressão regular e a sintaxe usados com PATTERN_ANALYZER são RE2. PATTERN_ANALYZER tokeniza padrões na seguinte ordem:

1. Ele encontra a primeira substring que corresponde ao padrão (da esquerda) na string. Esse é um token a ser incluído na saída.
2. Ele remove tudo da string de entrada até o final da substring encontrada na etapa 1.
3. Ele repete o processo até que a string esteja vazia.

A tabela a seguir mostra exemplos de extração de token PATTERN_ANALYZER:

O uso do analisador de texto PATTERN_ANALYZER oferece mais controle sobre os tokens extraídos de um texto quando usados com a função SEARCH. A tabela a seguir mostra como padrões e resultados diferentes resultam em resultados SEARCH diferentes:

Exemplos

Nos exemplos a seguir, demonstramos o uso da análise de texto com opções de personalização para criar índices de pesquisa, extrair tokens e retornar resultados da pesquisa.

LOG_ANALYZER com normalização de ICU do NFKC e palavras de parada

O exemplo a seguir configura as opções de LOG_ANALYZER com a normalização da NFKC ICU e as palavras de parada. No exemplo, pressupomos a seguinte tabela de dados com dados já preenchidos:

CREATE TABLE dataset.data_table(
  text_data STRING
);

Para criar um índice de pesquisa com a normalização de ICU NFKC e uma lista de palavras de parada, crie uma string formatada em JSON na opção analyzer_options da instrução DDL CREATE SEARCH INDEX. de dois minutos. Para uma lista completa das opções disponíveis na criação de um índice de pesquisa com LOG_ANALYZER, consulte LOG_ANALYZER. Neste exemplo, nossas palavras de parada são "the", "of", "and", "for".

CREATE OR REPLACE SEARCH INDEX `my_index` ON `dataset.data_table`(ALL COLUMNS) OPTIONS(
  analyzer='PATTERN_ANALYZER',
  analyzer_options= '''{
    "token_filters": [
      {
        "normalizer": {
          "mode": "ICU_NORMALIZE",
          "icu_normalize_mode": "NFKC",
          "icu_case_folding": true
        }
      },
      { "stop_words": ["the", "of", "and", "for"] }
    ]
  }''');

Considerando o exemplo anterior, a tabela a seguir descreve a extração do token para vários valores de text_data. Neste documento, o caractere de ponto de interrogação duplo (??) está em itálico para diferenciar entre dois pontos (??):

Agora que o índice de pesquisa foi criado, use a função SEARCH para pesquisar na tabela com as mesmas configurações do analisador especificadas no índice de pesquisa. Se as configurações do analisador na função SEARCH não corresponderem às do índice de pesquisa, o índice de pesquisa não será usado. Use a seguinte consulta:

SELECT
  SEARCH(
  analyzer => 'LOG_ANALYZER',
  analyzer_options => '''{
    "token_filters": [
      {
        "normalizer": {
          "mode": "ICU_NORMALIZE",
          "icu_normalize_mode": "NFKC",
          "icu_case_folding": true
        }
      },
      {
        "stop_words": ["the", "of", "and", "for"]
      }
    ]
  }''')

Substitua:

• search_query: o texto que você quer pesquisar.

A tabela a seguir demonstra vários resultados com base em diferentes textos de pesquisa e valores de search_query diferentes:

PATTERN_ANALYZER para pesquisa IPv4 com palavras de parada

O exemplo a seguir configura o analisador de texto PATTERN_ANALYZER para pesquisar um padrão específico ao filtrar determinadas palavras de parada. Neste exemplo, o padrão corresponde a um endereço IPv4 e ignora o valor de localhost (127.0.0.1).

Neste exemplo, presumimos que a tabela a seguir seja preenchida com dados:

CREATE TABLE dataset.data_table(
  text_data STRING
);

Para criar um índice de pesquisa com a opção pattern e uma lista de palavras de parada, crie uma string formatada em JSON na opção analyzer_options da instrução DDL CREATE SEARCH INDEX. Para uma lista completa das opções disponíveis na criação de um índice de pesquisa com PATTERN_ANALYZER, consulte PATTERN_ANALYZER. Neste exemplo, nossas palavras de parada são o endereço do localhost, 127.0.0.1.

CREATE SEARCH INDEX my_index
ON dataset.data_table(text_data)
OPTIONS (analyzer = 'PATTERN_ANALYZER', analyzer_options = '''{
  "patterns": [
    "(?:(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)[.]){3}(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)"
  ],
  "token_filters": [
    {
      "stop_words": [
        "127.0.0.1"
      ]
    }
  ]
}'''
);

Ao usar expressões regulares com analyzer_options, inclua três símbolos \ iniciais para o escape correto de expressões regulares que incluam um símbolo \, como \d ou \b.

A tabela a seguir descreve as opções de tokenização para diversos valores de text_data.

Agora que o índice de pesquisa foi criado, use a função SEARCH para pesquisar na tabela com base na tokenização especificada em analyzer_options. Use a seguinte consulta:

SELECT
  SEARCH(dataset.data_table.text_data
  "search_data",
  analyzer => 'PATTERN_ANALYZER',
  analyzer_options => '''{
    "patterns": [
      "(?:(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)[.]){3}(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)"
      ],
    "token_filters": [
      {
        "stop_words": [
          "127.0.0.1"
        ]
      }
    ]
  }'''
);

Substitua:

• search_query: o texto que você quer pesquisar.

A tabela a seguir demonstra vários resultados com base em diferentes textos de pesquisa e valores de search_query diferentes:

A seguir

• Para uma visão geral dos casos de uso, preços, permissões necessárias e limitações do índice de pesquisa, consulte a Introdução à pesquisa no BigQuery.
• Para informações sobre a pesquisa eficiente de colunas indexadas, consulte Pesquisa com um índice.