載入外部分區資料

BigQuery 可以使用 Hive 區隔版面配置，載入儲存在 Cloud Storage 中的資料。Hive 分區是指將外部資料分成多個檔案，並使用命名慣例將檔案分成不同的分區。詳情請參閱「支援的資料版面配置」。

根據預設，除非您明確建立分區資料表，否則資料在載入後不會在 BigQuery 中分區。

載入 Hive 分區資料

如要載入 Hive 分區資料，請選擇下列任一選項：

bq load --source_format=ORC --hive_partitioning_mode=AUTO \
--hive_partitioning_source_uri_prefix=gcs_uri_shared_prefix \
dataset.table gcs_uris

bq load --source_format=CSV --autodetect \
--hive_partitioning_mode=STRINGS \
--hive_partitioning_source_uri_prefix=gcs_uri_shared_prefix \
dataset.table gcs_uris

bq load --source_format=JSON --hive_partitioning_mode=CUSTOM \
--hive_partitioning_source_uri_prefix=gcs_uri_shared_prefix/partition_key_schema \
dataset.table gcs_uris file_schema

--hive_partitioning_source_uri_prefix=gcs_uri_shared_prefix/{key1:TYPE1}/{key2:TYPE2}/{key3:TYPE3}

執行增量載入

以下列資料配置為例：

gs://my_bucket/my_table/dt=2019-10-31/val=1/file1
gs://my_bucket/my_table/dt=2018-10-31/val=2/file2
gs://my_bucket/my_table/dt=2017-10-31/val=3/file3
gs://my_bucket/my_table/dt=2016-10-31/val=4/file4

如要僅載入 2019 年 10 月 31 日的資料，請執行下列操作：

• 將 Hive 分區模式設為 AUTO、STRINGS 或 CUSTOM。
• 如為 AUTO 或 STRINGS Hive 分區模式，請將來源 URI 前置字串設為 gs://my_bucket/my_table/。如為自訂分區模式，請提供 gs://my_bucket/my_table/{dt:DATE}/{val:INTEGER}。
• 使用 URI gs://my_bucket/my_table/dt=2019-10-31/*。
• 資料載入時會包含 dt 和 val 資料欄，分別具有 2019-10-31 和 1 值。

如要僅載入特定檔案的資料，請執行下列操作：

• 將 Hive 分區模式設為 AUTO、STRINGS 或 CUSTOM。
• 如為 AUTO 或 STRINGS Hive 分區模式，請將來源 URI 前置字串設為 gs://my_bucket/my_table/。如果是 CUSTOM，請提供 gs://my_bucket/my_table/{dt:DATE}/{val:INTEGER}。
• 使用 URI gs://my_bucket/my_table/dt=2017-10-31/val=3/file3,gs://my_bucket/my_table/dt=2016-10-31/val=4/file4。
• 資料已從兩個檔案載入，且 dt 和 val 資料欄已填入。

分區結構定義

以下各節將說明 預設的 Hive 分割版面配置，以及 BigQuery 支援的結構定義偵測模式。

支援的資料配置

查詢 Cloud Storage 中的資料時，Hive 分區索引鍵會顯示為一般資料欄。資料必須符合預設 Hive 分區配置。舉例來說，下列檔案均符合預設配置，鍵/值組合會以目錄型式排列並採用等號 (=) 做為分隔符，而且分區索引鍵的順序一律相同：

gs://my_bucket/my_table/dt=2019-10-31/lang=en/my_filename
gs://my_bucket/my_table/dt=2018-10-31/lang=fr/my_filename

本範例中常見的來源 URI 前置字串為 gs://my_bucket/my_table。

不支援的資料配置

如果分區索引鍵名稱未編碼入目錄路徑，系統將無法偵測分區結構定義。舉例來說，分區索引鍵名稱未編碼入下列路徑：

gs://my_bucket/my_table/2019-10-31/en/my_filename

如果檔案的結構定義順序不一致，系統也無法進行偵測作業。舉例來說，假設下列兩個檔案採用反向分區索引鍵編碼：

gs://my_bucket/my_table/dt=2019-10-31/lang=en/my_filename
gs://my_bucket/my_table/lang=fr/dt=2018-10-31/my_filename

偵測模式

BigQuery 支援三種 Hive 分區結構定義偵測模式：

• AUTO：系統會自動偵測索引鍵名稱與類型。可偵測的類型如下：

  • STRING
  • INTEGER

  • DATE

    例如 /date=2018-10-18/。

  • TIMESTAMP

    例如 /time=2018-10-18 16:00:00+00/。

• STRINGS：系統會自動將索引鍵名稱轉換為 STRING 類型。

• CUSTOM：分區索引鍵結構定義編碼方式，如來源 URI 前置字串中所指定。

自訂分區索引鍵結構定義

如要使用 CUSTOM 結構定義，您必須在來源 URI 前置字串欄位中指定該結構定義。使用 CUSTOM 結構定義可讓您指定每個分區索引鍵的類型。這些值必須有效地剖析為指定類型，否則查詢作業會失敗。

舉例來說，如果您將 source_uri_prefix 標記設為 gs://my_bucket/my_table/{dt:DATE}/{val:STRING}，BigQuery 會將 val 視為 STRING、dt 視為 DATE，並使用 gs://my_bucket/my_table 做為相符檔案的來源 URI 前置字串。

限制

• 建構 Hive 分區支援時，我們會假設所有 URI 都有一個通用來源 URI 前置字串，字串結尾處緊接在分區編碼之前，如下所示：gs://BUCKET/PATH_TO_TABLE/。
• 假設 Hive 分區資料表的目錄結構具有相同的分區索引鍵、索引鍵的顯示順序相同，且每個資料表最多包含十個分區索引鍵。
• 資料必須符合預設 Hive 分區配置。
• Hive 分區索引鍵不得與基礎檔案中的資料欄重疊。

• 僅支援 GoogleSQL。

• 適用於所有從 Cloud Storage 載入的限制。

後續步驟

• 瞭解分區資料表。
• 瞭解如何在 BigQuery 中使用 SQL。