텍스트 분석기 사용

CREATE SEARCH INDEX DDL 문, SEARCH 함수, TEXT_ANALYZE 함수가 고급 텍스트 분석기 구성 옵션을 지원합니다. BigQuery의 텍스트 분석기와 텍스트 옵션을 이해하면 검색 환경을 세분화할 수 있습니다.

이 문서에서는 BigQuery에서 사용할 수 있는 다양한 텍스트 분석기와 구성 옵션을 간략하게 설명하고 BigQuery의 검색에서 텍스트 분석기를 사용하는 방법의 예시를 살펴봅니다. 텍스트 분석기 구문에 대한 자세한 내용은 텍스트 분석을 참조하세요.

텍스트 분석기

BigQuery는 다음과 같은 텍스트 분석기를 지원합니다.

• NO_OP_ANALYZER
• LOG_ANALYZER
• PATTERN_ANALYZER

NO_OP_ANALYZER

정확하게 일치해야 하는 데이터가 사전 처리된 경우 NO_OP_ANALYZER를 사용합니다. 텍스트에 적용된 토큰화 또는 정규화가 없습니다. 이 분석기는 토큰화 또는 정규화를 수행하지 않으므로 구성을 허용하지 않습니다. NO_OP_ANALYZER에 대한 자세한 내용은 NO_OP_ANALYZER를 참조하세요.

LOG_ANALYZER

LOG_ANALYZER는 데이터를 다음과 같은 방식으로 수정합니다.

• 텍스트는 소문자로 지정됩니다.

• 127보다 큰 ASCII 값은 그대로 유지됩니다.

• 다음 구분 기호에 의해 텍스트가 토큰이라는 개별 용어로 분할됩니다.

  [ ] < > ( ) { } | ! ; , ' " * & ? + / : = @ . - $ % \ _ \n \r \s \t %21 %26
  %2526 %3B %3b %7C %7c %20 %2B %2b %3D %3d %2520 %5D %5d %5B %5b %3A %3a %0A
  %0a %2C %2c %28 %29
  

  기본 구분 기호를 사용하지 않으려면 텍스트 분석기 옵션으로 사용할 구분 기호를 지정하면 됩니다. LOG_ANALYZER를 사용하면 특정 구분 기호 및 토큰 필터를 구성하여 검색 결과를 더 세밀하게 제어할 수 있습니다. LOG_ANALYZER를 사용할 때 제공되는 특정 구성 옵션에 대한 자세한 내용은 delimiters 분석기 옵션 및 token_filters 분석기 옵션을 참조하세요.

PATTERN_ANALYZER

PATTERN_ANALYZER 텍스트 분석기는 정규 표현식을 사용하여 텍스트에서 토큰을 추출합니다. PATTERN_ANALYZER에 사용되는 정규 표현식 엔진 및 구문은 RE2입니다. PATTERN_ANALYZER는 다음 순서로 패턴을 토큰화합니다.

1. 문자열의 패턴(왼쪽부터)과 일치하는 첫 번째 하위 문자열을 찾습니다. 출력에 포함할 토큰입니다.
2. 1단계에서 찾은 하위 문자열이 끝날 때까지 모든 항목을 입력 문자열에서 삭제합니다.
3. 문자열이 빌 때까지 이 프로세스를 반복합니다.

다음 표에서는 PATTERN_ANALYZER 토큰 추출의 예시를 보여줍니다.

PATTERN_ANALYZER 텍스트 분석기를 사용하면 SEARCH 함수와 함께 사용할 때 텍스트에서 추출된 토큰을 보다 세부적으로 제어할 수 있습니다. 다음 표에서는 서로 다른 패턴 및 결과로 인한 다른 SEARCH 결과를 보여줍니다.

예시

다음 예시에서는 맞춤설정 옵션으로 텍스트 분석을 사용하여 검색 색인을 만들고 토큰을 추출하고 검색 결과를 반환하는 방법을 보여줍니다.

NFKC ICU 정규화 및 검색 제외 단어가 포함된 LOG_ANALYZER

다음 예시에서는 NFKC ICU 정규화 및 검색 제외 단어를 사용하여 LOG_ANALYZER 옵션을 구성합니다. 이 예시에서는 데이터가 이미 채워져 있는 다음 데이터 테이블을 가정합니다.

CREATE TABLE dataset.data_table(
  text_data STRING
);

NFKC ICU 정규화 및 검색 제외 단어 목록을 사용하여 검색 색인을 만들려면 CREATE SEARCH INDEX DDL 문의 analyzer_options 옵션에서 JSON 형식의 문자열을 만듭니다. LOG_ANALYZER로 검색 색인을 만들 때 사용할 수 있는 옵션의 전체 목록은 LOG_ANALYZER를 참조하세요. 이 예시에서 검색 제외 단어는 "the", "of", "and", "for"입니다.

CREATE OR REPLACE SEARCH INDEX `my_index` ON `dataset.data_table`(ALL COLUMNS) OPTIONS(
  analyzer='PATTERN_ANALYZER',
  analyzer_options= '''{
    "token_filters": [
      {
        "normalizer": {
          "mode": "ICU_NORMALIZE",
          "icu_normalize_mode": "NFKC",
          "icu_case_folding": true
        }
      },
      { "stop_words": ["the", "of", "and", "for"] }
    ]
  }''');

위 예시를 바탕으로 한 다음 표에서는 text_data의 다양한 값에 대한 토큰 추출을 설명합니다. 이 문서에서는 두 개의 물음표(??)를 구분하기 위해 이중 물음표 문자(??)를 기울임꼴로 표시했습니다.

이제 검색 색인이 생성되었으므로 SEARCH 함수를 사용하여 검색 색인에 지정된 동일한 분석기 구성을 사용하여 테이블을 검색할 수 있습니다. SEARCH 함수의 분석기 구성이 검색 색인의 분석기 구성과 일치하지 않으면 검색 색인이 사용되지 않습니다. 다음 쿼리를 사용합니다.

SELECT
  SEARCH(
  analyzer => 'LOG_ANALYZER',
  analyzer_options => '''{
    "token_filters": [
      {
        "normalizer": {
          "mode": "ICU_NORMALIZE",
          "icu_normalize_mode": "NFKC",
          "icu_case_folding": true
        }
      },
      {
        "stop_words": ["the", "of", "and", "for"]
      }
    ]
  }''')

다음을 바꿉니다.

• search_query: 검색할 텍스트입니다.

다음 표에서는 서로 다른 검색 텍스트 및 여러 search_query 값을 기준으로 다양한 결과를 보여줍니다.

검색 제외 단어가 있는 IPv4 검색의 PATTERN_ANALYZER

다음 예시에서는 특정 검색 제외 단어를 필터링하면서 특정 패턴을 검색하도록 PATTERN_ANALYZER 텍스트 분석기를 구성합니다. 이 예시에서 패턴은 IPv4 주소와 일치하고 localhost 값(127.0.0.1)을 무시합니다.

이 예시에서는 다음 테이블이 다음과 같은 데이터로 채워졌다고 가정합니다.

CREATE TABLE dataset.data_table(
  text_data STRING
);

검색 색인 pattern 옵션과 검색 제외 단어 목록을 만들려면 CREATE SEARCH INDEX DDL 문의 analyzer_options 옵션에 JSON 형식 문자열을 만듭니다. PATTERN_ANALYZER로 검색 색인을 만들 때 사용할 수 있는 옵션의 전체 목록은 PATTERN_ANALYZER를 참조하세요. 이 예시에서 검색 제외 단어는 localhost 주소 127.0.0.1입니다.

CREATE SEARCH INDEX my_index
ON dataset.data_table(text_data)
OPTIONS (analyzer = 'PATTERN_ANALYZER', analyzer_options = '''{
  "patterns": [
    "(?:(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)[.]){3}(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)"
  ],
  "token_filters": [
    {
      "stop_words": [
        "127.0.0.1"
      ]
    }
  ]
}'''
);

analyzer_options와 함께 정규 표현식을 사용할 때는 \d 또는 \b와 같이 \ 기호를 포함하는 정규 표현식을 올바르게 이스케이프 처리하기 위해 세 개의 선행 \ 기호를 포함합니다.

다음 표에서는 text_data의 다양한 값에 대한 토큰화 옵션을 설명합니다.

이제 검색 색인이 생성되었으므로 SEARCH 함수를 사용하여 analyzer_options에 지정된 토큰화에 따라 테이블을 검색할 수 있습니다. 다음 쿼리를 사용합니다.

SELECT
  SEARCH(dataset.data_table.text_data
  "search_data",
  analyzer => 'PATTERN_ANALYZER',
  analyzer_options => '''{
    "patterns": [
      "(?:(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)[.]){3}(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)"
      ],
    "token_filters": [
      {
        "stop_words": [
          "127.0.0.1"
        ]
      }
    ]
  }'''
);

다음을 바꿉니다.

• search_query: 검색할 텍스트입니다.

다음 표에서는 서로 다른 검색 텍스트 및 여러 search_query 값을 기준으로 다양한 결과를 보여줍니다.

다음 단계

• 검색 색인 사용 사례, 가격 책정, 필수 권한, 제한사항에 대한 개요는 BigQuery의 검색 소개를 참조하세요.
• 색인이 생성된 열을 효율적으로 검색하는 방법에 대한 자세한 내용은 색인을 사용한 검색을 참조하세요.