使用文本分析器

CREATE SEARCH INDEX DDL 语句、SEARCH 函数和 TEXT_ANALYZE 函数支持高级文本分析器配置选项。通过了解 BigQuery 的文本分析器及其选项，您可以优化搜索体验。

本文档简要介绍 BigQuery 中提供的不同文本分析器及其配置选项，以及文本分析器如何与 BigQuery 中的搜索搭配使用。如需详细了解文本分析器语法，请参阅文本分析。

文本分析器

BigQuery 支持以下文本分析器：

• NO_OP_ANALYZER
• LOG_ANALYZER
• PATTERN_ANALYZER

NO_OP_ANALYZER

在预处理完您希望完全匹配的数据后，请使用 NO_OP_ANALYZER。系统不会对文本应用词元化或标准化。由于此分析器不执行词法单元化或标准化，因此不接受任何配置。如需详细了解 NO_OP_ANALYZER，请参阅 NO_OP_ANALYZER。

LOG_ANALYZER

LOG_ANALYZER 通过以下方式修改数据：

• 文本将变成小写。

• 大于 127 的 ASCII 值将保持不变。

• 文本由以下分隔符拆分为称为“词法单元”的单个术语：

  [ ] < > ( ) { } | ! ; , ' " * & ? + / : = @ . - $ % \ _ \n \r \s \t %21 %26
  %2526 %3B %3b %7C %7c %20 %2B %2b %3D %3d %2520 %5D %5d %5B %5b %3A %3a %0A
  %0a %2C %2c %28 %29
  

  如果您不想使用默认分隔符，则可以指定要用作文本分析器选项的分隔符。通过 LOG_ANALYZER，您可以配置特定的分隔符和令牌过滤器，以便更好地控制搜索结果。如需详细了解使用 LOG_ANALYZER 时可用的特定配置选项，请参阅 delimiters 分析器选项和 token_filters 分析器选项。

PATTERN_ANALYZER

PATTERN_ANALYZER 文本分析器使用正则表达式从文本中提取词法单元。与 PATTERN_ANALYZER 搭配使用的正则表达式引擎和语法为 RE2。PATTERN_ANALYZER 按以下顺序对模式进行词法单元化处理：

1. 它会找到与字符串中的模式（从左侧起）匹配的第一个子字符串。这是要包含在输出中的词法单元。
2. 它会从输入字符串中移除所有内容（直到第 1 步中发现的子字符串结尾）。
3. 它会重复该过程，直到字符串为空。

下表提供了 PATTERN_ANALYZER 词法单元提取示例：

与 SEARCH 函数搭配使用时，使用 PATTERN_ANALYZER 文本分析器可让您更好地控制从文本中提取的词法单元。下表显示了不同的模式和结果如何生成不同的 SEARCH 结果：

示例

以下示例演示如何通过自定义选项使用文本分析来创建搜索索引、提取词法单元并返回搜索结果。

将 LOG_ANALYZER 与 NFKC ICU 标准化和停止字词搭配使用

以下示例使用 NFKC ICU 标准化和停止字词来配置 LOG_ANALYZER 选项。该示例假定以下数据表已填充数据：

CREATE TABLE dataset.data_table(
  text_data STRING
);

如需使用 NFKC ICU 标准化和停止字词列表创建搜索索引，请在 CREATE SEARCH INDEX DDL 语句的 analyzer_options 选项中创建 JSON 格式的字符串。如需查看使用 LOG_ANALYZER 创建搜索索引时可用的选项的完整列表，请参阅 LOG_ANALYZER。在本示例中，我们的停止字词是 "the", "of", "and", "for"。

CREATE OR REPLACE SEARCH INDEX `my_index` ON `dataset.data_table`(ALL COLUMNS) OPTIONS(
  analyzer='PATTERN_ANALYZER',
  analyzer_options= '''{
    "token_filters": [
      {
        "normalizer": {
          "mode": "ICU_NORMALIZE",
          "icu_normalize_mode": "NFKC",
          "icu_case_folding": true
        }
      },
      { "stop_words": ["the", "of", "and", "for"] }
    ]
  }''');

根据上例，下表介绍了 text_data 各种值的词法单元提取。请注意，在本文档中，双问号字符 (⁇) 已斜体处理，以区分两个问号 (??)：

现在搜索索引已创建，接下来您可以使用 SEARCH 函数通过搜索索引中指定的相同分析器配置来搜索表。请注意，如果 SEARCH 函数中的分析器配置与搜索索引的配置不匹配，则不会使用搜索索引。使用以下查询：

SELECT
  SEARCH(
  analyzer => 'LOG_ANALYZER',
  analyzer_options => '''{
    "token_filters": [
      {
        "normalizer": {
          "mode": "ICU_NORMALIZE",
          "icu_normalize_mode": "NFKC",
          "icu_case_folding": true
        }
      },
      {
        "stop_words": ["the", "of", "and", "for"]
      }
    ]
  }''')

替换以下内容：

• search_query：您要搜索的文本。

下表根据不同的搜索文本和不同的 search_query 值演示了各种结果：

PATTERN_ANALYZER，用于具有停止字词的 IPv4 搜索

以下示例将 PATTERN_ANALYZER 文本分析器配置为搜索特定模式，同时过滤特定停止字词。在此示例中，模式与 IPv4 地址匹配，并忽略 localhost 值 (127.0.0.1)。

此示例假定下表填充了数据：

CREATE TABLE dataset.data_table(
  text_data STRING
);

如需创建搜索索引 pattern 选项和停止字词列表，请在 CREATE SEARCH INDEX DDL 语句的 analyzer_options 选项中创建 JSON 格式的字符串 如需查看使用 PATTERN_ANALYZER 创建搜索索引时可用的选项的完整列表，请参阅 PATTERN_ANALYZER。在本示例中，我们的停止字词是 localhost 地址 127.0.0.1。

CREATE SEARCH INDEX my_index
ON dataset.data_table(text_data)
OPTIONS (analyzer = 'PATTERN_ANALYZER', analyzer_options = '''{
  "patterns": [
    "(?:(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)[.]){3}(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)"
  ],
  "token_filters": [
    {
      "stop_words": [
        "127.0.0.1"
      ]
    }
  ]
}'''
);

将正则表达式与 analyzer_options 搭配使用时，请包含三个前导 \ 符号，以正确转义包含 \ 符号的正则表达式，例如 \d 或 \b。

下表介绍了 text_data 各种值的词法单元化选项

搜索索引现已创建，您可以使用 SEARCH 函数根据 analyzer_options 中指定的词法单元化来搜索表。使用以下查询：

SELECT
  SEARCH(dataset.data_table.text_data
  "search_data",
  analyzer => 'PATTERN_ANALYZER',
  analyzer_options => '''{
    "patterns": [
      "(?:(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)[.]){3}(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)"
      ],
    "token_filters": [
      {
        "stop_words": [
          "127.0.0.1"
        ]
      }
    ]
  }'''
);

替换以下内容：

• search_query：您要搜索的文本。

下表根据不同的搜索文本和不同的 search_query 值演示了各种结果：

后续步骤

• 如需简要了解搜索索引用例、价格、所需权限和限制，请参阅 BigQuery 搜索简介。
• 如需了解如何高效搜索已编入索引的列，请参阅使用索引进行搜索。