建立 Blob 儲存體 BigLake 資料表

主控台

1. 前往「BigQuery」頁面

   前往 BigQuery

2. 在「Explorer」窗格中，選取要建立資料集的專案。
3. 展開 more_vert「View actions」 選項，然後按一下「Create dataset」。
4. 在「Create dataset」(建立資料集) 頁面中指定下列詳細資料：
1. 針對「Dataset ID」(資料集 ID)，輸入唯一的資料集名稱。
2. 針對「Data location」(資料位置)，選擇支援的地區。
3. 選用：如要自動刪除資料表，請勾選「Enable table expiration」核取方塊，並以天為單位設定「Default maximum table age」。資料表到期時，Azure 中的資料不會遭到刪除。
4. 如果要使用預設定序，請展開「進階選項」部分，然後選取「啟用預設定序」選項。
5. 點選「建立資料集」。

SQL

使用 CREATE SCHEMA DDL 陳述式。以下範例會在 azure-eastus2 區域中建立資料集：

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往 BigQuery

2. 在查詢編輯器中輸入以下陳述式：

   CREATE SCHEMA mydataset
   OPTIONS (
     location = 'azure-eastus2');

3. 按一下 play_circle「Run」。

如要進一步瞭解如何執行查詢，請參閱「執行互動式查詢」一文。

bq

在指令列環境中，使用 bq mk 指令建立資料集：

bq --location=LOCATION mk \
    --dataset \
PROJECT_ID:DATASET_NAME

--project_id 參數會覆寫預設專案。

更改下列內容：

• LOCATION：資料集的位置

  如要瞭解支援的地區，請參閱「據點」一文。建立資料集後，就無法變更位置。您可以使用 .bigqueryrc 檔案設定位置的預設值。

• PROJECT_ID：您的專案 ID

• DATASET_NAME：您要建立的資料集名稱

  如要在非預設專案中建立資料集，請採用下列格式將專案 ID 新增至資料集：PROJECT_ID:DATASET_NAME。

主控台

1. 前往「BigQuery」頁面

   前往 BigQuery

2. 在「Explorer」窗格中展開專案，然後選取資料集。

3. 在「資料集資訊」部分，按一下 add_box「建立資料表」。

4. 在「Create table」(建立資料表) 頁面的「Source」(來源) 區段中，執行下列操作：

   1. 在「Create table from」(使用下列資料建立資料表) 部分，選取「Azure Blob Storage」。

   2. 針對「選取 Azure Blob 儲存體路徑」，請使用下列格式輸入 Blob 儲存體路徑： azure://AZURE_STORAGE_ACCOUNT_NAME.blob.core.windows.net/CONTAINER_NAME/FILE_PATH

      更改下列內容：

      • AZURE_STORAGE_ACCOUNT_NAME：Blob 儲存體帳戶名稱。帳戶的地區應與資料集的地區相同。
      • CONTAINER_NAME：Blob 儲存體容器的名稱。
      • FILE_PATH：指向 Blob Storage 資料的資料路徑。例如，如果是單一 CSV 檔案，FILE_PATH 可以是 myfile.csv。

   3. 在「File format」(檔案格式) 部分，選取 Azure 中的資料格式。支援的格式包括 AVRO、CSV、DELTA_LAKE、ICEBERG、JSONL、ORC 和 PARQUET。

5. 在「Destination」部分中，執行下列操作：

   1. 針對「Dataset」(資料集)，請選擇適當的資料集。
   2. 在「Table」(資料表) 欄位中輸入資料表名稱。
   3. 確認「Table type」(資料表類型) 已設為 [External table] (外部資料表)。
   4. 在「Connection ID」(連線 ID) 專區中，從下拉式選單中選擇適當的連線 ID。如要瞭解連線方式，請參閱「連線至 Blob 儲存體」。

6. 在「Schema」區段中，您可以啟用結構定義自動偵測功能，或手動指定結構定義 (如果有來源檔案)。如果沒有來源檔案，您必須手動指定結構定義。

   • 如要啟用結構定義自動偵測功能，請選取「Auto-detect」(自動偵測) 選項。

   • 如要手動指定結構定義，請不要勾選「Auto-detect」選項。啟用「Edit as text」，然後以 JSON 陣列的形式輸入資料表結構定義。

7. 點選「建立資料表」。

SQL

如要建立 BigLake 資料表，請使用 CREATE EXTERNAL TABLE 陳述式搭配 WITH CONNECTION 子句：

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往 BigQuery

2. 在查詢編輯器中輸入以下陳述式：

   CREATE EXTERNAL TABLE DATASET_NAME.TABLE_NAME
   WITH CONNECTION `AZURE_LOCATION.CONNECTION_NAME`
     OPTIONS (
       format = 'DATA_FORMAT',
       uris = ['azure://AZURE_STORAGE_ACCOUNT_NAME.blob.core.windows.net/CONTAINER_NAME/FILE_PATH']);

   請依指示取代下列項目：

   • DATASET_NAME：您建立的資料集名稱
   • TABLE_NAME：您要為這個資料表命名的名稱
   • AZURE_LOCATION： Google Cloud中的 Azure 位置，例如 azure-eastus2
   • CONNECTION_NAME：您建立的連線名稱
   • DATA_FORMAT：任何支援的 BigQuery 聯合格式，例如 AVRO、CSV、DELTA_LAKE 或 ICEBERG (預先發布版)
   • AZURE_STORAGE_ACCOUNT_NAME：Blob 儲存體帳戶名稱
   • CONTAINER_NAME：Blob 儲存體容器的名稱
   • FILE_PATH：指向 Blob Storage 資料的資料路徑

3. 按一下 play_circle「Run」。

如要進一步瞭解如何執行查詢，請參閱「執行互動式查詢」一文。

範例：

CREATE EXTERNAL TABLE absdataset.abstable
WITH CONNECTION `azure-eastus2.abs-read-conn`
  OPTIONS (
    format = 'CSV', uris = ['azure://account_name.blob.core.windows.net/container/path/file.csv']);

bq

建立資料表定義檔：

bq mkdef  \
    --source_format=DATA_FORMAT \
    --connection_id=AZURE_LOCATION.CONNECTION_NAME \
    "azure://AZURE_STORAGE_ACCOUNT_NAME.blob.core.windows.net/CONTAINER_NAME/FILE_PATH" > table_def

更改下列內容：

• DATA_FORMAT：任何支援的 BigQuery 聯合格式，例如 AVRO、CSV、ICEBERG 或 PARQUET
• AZURE_LOCATION： Google Cloud中的 Azure 位置，例如 azure-eastus2
• CONNECTION_NAME：您建立的連線名稱
• AZURE_STORAGE_ACCOUNT_NAME：Blob 儲存體帳戶名稱
• CONTAINER_NAME：Blob 儲存體容器的名稱
• FILE_PATH：指向 Blob 儲存體資料的資料路徑

接著，建立 BigLake 資料表：

bq mk --external_table_definition=table_def DATASET_NAME.TABLE_NAME

更改下列內容：

• DATASET_NAME：您建立的資料集名稱
• TABLE_NAME：您要為這個資料表命名的名稱

舉例來說，下列指令會建立新的 BigLake 資料表 my_dataset.my_table，可查詢儲存在路徑 azure://account_name.blob.core.windows.net/container/path 的 Blob 儲存體資料，且在 azure-eastus2 位置有讀取連線：

bq mkdef \
    --source_format=AVRO \
    --connection_id=azure-eastus2.read-conn \
    "azure://account_name.blob.core.windows.net/container/path" > table_def

bq mk \
    --external_table_definition=table_def my_dataset.my_table

API

呼叫 tables.insert 方法 API 方法，並在您傳入的 Table 資源中建立 ExternalDataConfiguration。

指定 schema 屬性，或將 autodetect 屬性設為 true，為支援的資料來源啟用結構定義自動偵測功能。

指定 connectionId 屬性，以識別用於連線至 Blob 儲存體的連線。

主控台

1. 前往「BigQuery」頁面

   前往 BigQuery

2. 在「Explorer」窗格中展開專案並選取資料集。

3. 依序按一下 more_vert「查看動作」和「建立資料表」。系統會開啟「Create table」窗格。

4. 在「Source」部分中，指定下列詳細資料：

   1. 在「Create table from」(使用下列資料建立資料表) 部分，選取下列其中一個選項：

      • Amazon S3
      • Azure Blob 儲存體

   2. 使用萬用字元提供資料夾路徑。例如：

      • Amazon S3：s3://mybucket/*
      • Blob 儲存空間：azure://mystorageaccount.blob.core.windows.net/mycontainer/*

      資料夾必須與要建立、附加或覆寫的資料表所屬的資料集位置相同。

   3. 從「File format」清單中選取檔案類型。

   4. 選取「Source data partitioning」核取方塊，然後指定下列詳細資料：

      1. 在「選取來源 URI 前置字串」中輸入 URI 前置字串，例如：s3://mybucket/my_files。
      2. 選用：如要要求在對這個資料表進行的所有查詢中使用分區篩選器，請選取「Require partition filter」(需要分區篩選器) 核取方塊。使用分區篩選器可以降低成本並提升效能。詳情請參閱「在查詢中要求分區鍵的述詞篩選器」。

      3. 在「分區推論模式」部分中，選取下列其中一個選項：

         • 自動推論類型：將分區結構定義偵測模式設為 AUTO。
         • 所有資料欄皆為字串：將分區結構定義偵測模式設為 STRINGS。
         • 提供自己的：將分區結構定義偵測模式設為 CUSTOM，然後手動輸入分區鍵的結構定義資訊。詳情請參閱「自訂分區索引鍵結構定義」。

5. 在「Destination」部分中，指定下列詳細資料：

   1. 在「Project」(專案) 部分，選取要建立資料表的專案。
   2. 在「Dataset」(資料集) 部分，選取要建立資料表的資料集。
   3. 在「Table」中，輸入要建立的資料表名稱。
   4. 針對「Table type」(資料表類型)，確認已選取「External table」(外部資料表)。
   5. 在「Connection ID」(連線 ID) 部分，選取先前建立的連線。

6. 在「Schema」區段中，您可以啟用結構定義自動偵測功能，或手動指定結構定義 (如果有來源檔案)。如果沒有來源檔案，您必須手動指定結構定義。

   • 如要啟用結構定義自動偵測功能，請選取「Auto-detect」(自動偵測) 選項。

   • 如要手動指定結構定義，請不要勾選「Auto-detect」選項。啟用「Edit as text」，然後以 JSON 陣列的形式輸入資料表結構定義。

7. 如要忽略含有與結構定義不符之額外資料欄值的資料列，請展開「Advanced options」(進階選項) 部分，然後選取「Unknown values」(不明的值)。

8. 點選「建立資料表」。

SQL

使用 CREATE EXTERNAL TABLE DDL 陳述式：

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往 BigQuery

2. 在查詢編輯器中輸入以下陳述式：

   CREATE EXTERNAL TABLE `PROJECT_ID.DATASET.EXTERNAL_TABLE_NAME`
   WITH PARTITION COLUMNS
   (
     PARTITION_COLUMN PARTITION_COLUMN_TYPE,
   )
   WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`
   OPTIONS (
     hive_partition_uri_prefix = "HIVE_PARTITION_URI_PREFIX",
     uris=['FILE_PATH'],
     format ="TABLE_FORMAT"
   );

   請依指示取代下列項目：

   • PROJECT_ID：您要建立資料表的專案名稱，例如 myproject
   • DATASET：您要建立資料表的 BigQuery 資料集名稱，例如 mydataset
   • EXTERNAL_TABLE_NAME：您要建立的資料表名稱，例如 mytable
   • PARTITION_COLUMN：分區欄名稱
   • PARTITION_COLUMN_TYPE：分區欄的類型
   • REGION：包含連線的區域，例如 us
   • CONNECTION_ID：連線名稱，例如 myconnection
   • HIVE_PARTITION_URI_PREFIX：hive 分區 URI 前置字串，例如：
     • s3://mybucket/
     • azure://mystorageaccount.blob.core.windows.net/mycontainer/
   • FILE_PATH：要建立的外部資料表的資料來源路徑，例如：
     • s3://mybucket/*.parquet
     • azure://mystorageaccount.blob.core.windows.net/mycontainer/*.parquet
   • TABLE_FORMAT：您要建立的資料表格式，例如 PARQUET

3. 按一下 play_circle「Run」。

如要進一步瞭解如何執行查詢，請參閱「執行互動式查詢」一文。

範例

以下範例會在 Amazon S3 中，針對分區資料建立 BigLake 資料表。系統會自動偵測結構定義。

CREATE EXTERNAL TABLE `my_dataset.my_table`
WITH PARTITION COLUMNS
(
  sku STRING,
)
WITH CONNECTION `us.my-connection`
OPTIONS(
  hive_partition_uri_prefix = "s3://mybucket/products",
  uris = ['s3://mybucket/products/*']
);

以下範例會在 Blob Storage 中，針對分區資料建立 BigLake 資料表。已指定結構定義。

CREATE EXTERNAL TABLE `my_dataset.my_table`
(
  ProductId INTEGER,
  ProductName, STRING,
  ProductType, STRING
)
WITH PARTITION COLUMNS
(
  sku STRING,
)
WITH CONNECTION `us.my-connection`
OPTIONS(
  hive_partition_uri_prefix = "azure://mystorageaccount.blob.core.windows.net/mycontainer/products",
  uris = ['azure://mystorageaccount.blob.core.windows.net/mycontainer/*']
);

bq

首先，請使用 bq mkdef 指令建立資料表定義檔：

bq mkdef \
--source_format=SOURCE_FORMAT \
--connection_id=REGION.CONNECTION_ID \
--hive_partitioning_mode=PARTITIONING_MODE \
--hive_partitioning_source_uri_prefix=URI_SHARED_PREFIX \
--require_hive_partition_filter=BOOLEAN \
 URIS > DEFINITION_FILE

更改下列內容：

• SOURCE_FORMAT：外部資料來源的格式。例如：CSV。
• REGION：包含連線的區域，例如 us。
• CONNECTION_ID：連線名稱，例如 myconnection。
• PARTITIONING_MODE：Hive 分區模式。請使用下列其中一個值：
  • AUTO：自動偵測索引鍵名稱和類型。
  • STRINGS：自動將索引鍵名稱轉換為字串。
  • CUSTOM：在來源 URI 前置字串中編碼索引鍵結構定義。
• URI_SHARED_PREFIX：來源 URI 前置字串。
• BOOLEAN：指定是否要在查詢時要求述詞篩選器。這個標記是選用的，預設值為 false。
• URIS：Amazon S3 或 Blob Storage 資料夾的路徑，使用萬用字元格式。
• DEFINITION_FILE：本機電腦上資料表定義檔的路徑。

如果 PARTITIONING_MODE 是 CUSTOM，請使用以下格式在來源 URI 前置字串中加入分區索引鍵結構定義：

--hive_partitioning_source_uri_prefix=GCS_URI_SHARED_PREFIX/{KEY1:TYPE1}/{KEY2:TYPE2}/...

建立資料表定義檔後，請使用 bq mk 指令建立 BigLake 資料表：

bq mk --external_table_definition=DEFINITION_FILE \
DATASET_NAME.TABLE_NAME \
SCHEMA

更改下列內容：

• DEFINITION_FILE：資料表定義檔案的路徑。
• DATASET_NAME：包含資料表的資料集名稱。
• TABLE_NAME：您要建立的資料表名稱。
• SCHEMA：指定 JSON 結構定義檔的路徑，或以 field:data_type,field:data_type,... 格式指定結構定義。如要使用結構定義自動偵測功能，請省略這個引數。

範例

以下範例會針對 Amazon S3 資料使用 AUTO Hive 區隔模式：

bq mkdef --source_format=CSV \
  --connection_id=us.my-connection \
  --hive_partitioning_mode=AUTO \
  --hive_partitioning_source_uri_prefix=s3://mybucket/myTable \
  --metadata_cache_mode=AUTOMATIC \
  s3://mybucket/* > mytable_def

bq mk --external_table_definition=mytable_def \
  mydataset.mytable \
  Region:STRING,Quarter:STRING,Total_sales:INTEGER

以下範例會針對 Amazon S3 資料使用 STRING Hive 區隔模式：

bq mkdef --source_format=CSV \
  --connection_id=us.my-connection \
  --hive_partitioning_mode=STRING \
  --hive_partitioning_source_uri_prefix=s3://mybucket/myTable \
  s3://mybucket/myTable/* > mytable_def

bq mk --external_table_definition=mytable_def \
  mydataset.mytable \
  Region:STRING,Quarter:STRING,Total_sales:INTEGER

以下範例會將 CUSTOM Hive 分割模式用於 Blob 儲存空間資料：

bq mkdef --source_format=CSV \
  --connection_id=us.my-connection \
  --hive_partitioning_mode=CUSTOM \
  --hive_partitioning_source_uri_prefix=azure://mystorageaccount.blob.core.windows.net/mycontainer/{dt:DATE}/{val:STRING} \
  azure://mystorageaccount.blob.core.windows.net/mycontainer/* > mytable_def

bq mk --external_table_definition=mytable_def \
  mydataset.mytable \
  Region:STRING,Quarter:STRING,Total_sales:INTEGER

API

如要使用 BigQuery API 設定 Hive 分割，請在建立資料表定義檔時，將 hivePartitioningOptions 物件納入 ExternalDataConfiguration 物件中。如要建立 BigLake 資料表，您也必須為 connectionId 欄位指定值。

如果您將 hivePartitioningOptions.mode 欄位設為 CUSTOM，就必須在 hivePartitioningOptions.sourceUriPrefix 欄位中對分區索引鍵結構定義進行編碼，如下所示：s3://BUCKET/PATH_TO_TABLE/{KEY1:TYPE1}/{KEY2:TYPE2}/...

如要強制在查詢時使用述詞篩選器，請將 hivePartitioningOptions.requirePartitionFilter 欄位設為 true。

主控台

1. 前往「BigQuery」頁面

   前往 BigQuery

2. 如果找不到「Editor」分頁，請按一下 add_box「Compose new query」。

3. 依序按一下「更多」「查詢設定」。「查詢設定」對話方塊隨即開啟。

4. 在「查詢設定」對話方塊中，依序選取「其他設定」>「資料位置」，然後選取與 BigQuery Omni 區域同區的 BigQuery 區域。舉例來說，如果您的 BigQuery Omni 區域為 aws-us-east-1，請指定 us-east4。

5. 選取其餘欄位，然後按一下「儲存」。

bq

使用 --location 旗標，將工作處理位置設為與 BigQuery Omni 區域同處的 BigQuery 區域。舉例來說，如果您的 BigQuery Omni 區域為 aws-us-east-1，請指定 us-east4。

示例

bq query --use_legacy_sql=false --location=us-east4 \
"SELECT * FROM region-azure-eastus2.INFORMATION_SCHEMA.JOBS limit 10;"

API

如果您透過程式執行工作，請將位置引數設為與 BigQuery Omni 區域同處的 BigQuery 區域。舉例來說，如果您的 BigQuery Omni 區域為 aws-us-east-1，請指定 us-east4。

Azure PowerShell

執行下列指令，將網路規則新增至儲存空間帳戶，指定擷取的 BigQuery Omni 子網路 ID 為 VirtualNetworkResourceId。

  Add-AzStorageAccountNetworkRule`
   -ResourceGroupName "RESOURCE_GROUP_NAME"`
   -Name "STORAGE_ACCOUNT_NAME"`
   -VirtualNetworkResourceId "SUBNET_ID1","SUBNET_ID2"

更改下列內容：

• RESOURCE_GROUP_NAME：資源群組名稱。
• STORAGE_ACCOUNT_NAME：儲存空間帳戶名稱。
• SUBNET_ID1,SUBNET_ID1：子網路 ID。您可以在本頁表格中找到這項資訊。

Terraform

在 Terraform 設定檔中新增下列內容：

  resource "azurerm_storage_account_network_rules" "example" {
    storage_account_name       = "STORAGE_ACCOUNT_NAME"
    resource_group_name        = "RESOURCE_GROUP_NAME"
    default_action             = "Allow"
    bypass                     = ["Logging", "Metrics", "AzureServices"]
    virtual_network_subnet_ids = ["SUBNET_ID1","SUBNET_ID2"]
  }

更改下列內容：

• STORAGE_ACCOUNT_NAME：儲存空間帳戶名稱。
• RESOURCE_GROUP_NAME：資源群組名稱。
• SUBNET_ID1,SUBNET_ID1：子網路 ID。您可以在本頁表格中找到這項資訊。