Blob Storage BigLake テーブルを作成する

コンソール

1. BigQuery ページに移動します。

   BigQuery に移動

2. [エクスプローラ] ペインで、データセットを作成するプロジェクトを選択します。
3. [more_vertアクションを表示] オプションを開き、[データセットを作成] をクリックします。
4. [データセットを作成] ページで、次の詳細を指定します。
1. [データセット ID] に、データセットの一意の名前を入力します。
2. [データ ロケーション] で、サポートされているリージョンを選択します。
3. 省略可: テーブルを自動的に削除するには、[テーブルの有効期限を有効にする] チェックボックスをオンにして、[デフォルトのテーブル最長存続期間] を日数で設定します。テーブルが期限切れになっても、Azure のデータは削除されません。
4. デフォルトの照合を使用する場合は、[詳細オプション] セクションを開いて、[デフォルトの照合を有効にする] オプションを選択します。
5. [データセットを作成] をクリックします。

SQL

CREATE SCHEMA DDL ステートメントを使用します。次の例では、azure-eastus2 リージョンにデータセットが作成されます。

1. Google Cloud コンソールで [BigQuery] ページに移動します。

   BigQuery に移動

2. クエリエディタで次のステートメントを入力します。

   CREATE SCHEMA mydataset
   OPTIONS (
     location = 'azure-eastus2');

3. [play_circle実行] をクリックします。

クエリの実行方法については、インタラクティブ クエリを実行するをご覧ください。

bq

コマンドライン環境で bq mk コマンドを使用してデータセットを作成します。

bq --location=LOCATION mk \
    --dataset \
PROJECT_ID:DATASET_NAME

--project_id パラメータは、デフォルト プロジェクトをオーバーライドします。

次のように置き換えます。

• LOCATION: データセットのロケーション

  サポートされているリージョンの詳細については、ロケーションをご覧ください。 データセットを作成した後に、そのロケーションを変更することはできません。ロケーションのデフォルト値は、.bigqueryrc ファイルを使用して設定できます。

• PROJECT_ID: プロジェクト ID

• DATASET_NAME: 作成するデータセットの名前

  デフォルト プロジェクト以外のプロジェクト内にデータセットを作成するには、PROJECT_ID:DATASET_NAME の形式でそのプロジェクト ID をデータセット名に追加します。

コンソール

1. BigQuery ページに移動します。

   BigQuery に移動

2. [エクスプローラ] ペインでプロジェクトを展開し、データセットを選択します。

3. [データセット情報] セクションで、add_box [テーブルを作成] をクリックします。

4. [テーブルの作成] ページの [ソース] セクションで、次の操作を行います。

   1. [テーブルの作成元] で [Azure Blob Storage] を選択します。

   2. [Azure Blob Storage のパスの選択] に、Blob Storage のパスを次の形式で入力します。 azure://AZURE_STORAGE_ACCOUNT_NAME.blob.core.windows.net/CONTAINER_NAME/FILE_PATH

      以下を置き換えます。

      • AZURE_STORAGE_ACCOUNT_NAME: Blob Storage アカウントの名前。アカウントのリージョンは、データセットのリージョンと同じものにする必要があります。
      • CONTAINER_NAME: Blob Storage コンテナの名前。
      • FILE_PATH: Blob Storage データを指すデータパス。たとえば、単一の CSV ファイルの場合、FILE_PATH は myfile.csv のように指定します。

   3. [ファイル形式] で、Azure のデータ形式を選択します。サポートされている形式は、AVRO、CSV、DELTA_LAKE、ICEBERG、JSONL、ORC、PARQUET です。

5. [送信先] セクションで、次の操作を行います。

   1. [データセット] で、該当するデータセットを選択します。
   2. [テーブル] フィールドにテーブルの名前を入力します。
   3. [テーブルタイプ] が [外部テーブル] に設定されていることを確認します。
   4. [接続 ID] で、プルダウンから該当する接続 ID を選択します。接続の詳細については、Blob Storage への接続をご覧ください。

6. [スキーマ] セクションで、スキーマの自動検出を有効にするか、ソースファイルがある場合はスキーマを手動で指定できます。ソースファイルがない場合は、スキーマを手動で指定する必要があります。

   • スキーマの自動検出を有効にするには、[自動検出] オプションを選択します。

   • 手動でスキーマを指定するには、[自動検出] オプションをオフにしておきます。[テキストとして編集] を有効にし、テーブル スキーマを JSON 配列として入力します。

7. [テーブルを作成] をクリックします。

SQL

BigLake テーブルを作成するには、WITH CONNECTION 句を指定した CREATE EXTERNAL TABLE ステートメントを使用します。

1. Google Cloud コンソールで [BigQuery] ページに移動します。

   BigQuery に移動

2. クエリエディタで次のステートメントを入力します。

   CREATE EXTERNAL TABLE DATASET_NAME.TABLE_NAME
   WITH CONNECTION `AZURE_LOCATION.CONNECTION_NAME`
     OPTIONS (
       format = 'DATA_FORMAT',
       uris = ['azure://AZURE_STORAGE_ACCOUNT_NAME.blob.core.windows.net/CONTAINER_NAME/FILE_PATH']);

   次のように置き換えます。

   • DATASET_NAME: 作成したデータセットの名前
   • TABLE_NAME: このテーブルに設定する名前
   • AZURE_LOCATION: Google Cloud の Azure ロケーション（例: azure-eastus2）
   • CONNECTION_NAME: 作成した接続の名前。
   • DATA_FORMAT: サポートされているいずれかの BigQuery 連携形式（AVRO、CSV、DELTA_LAKE、ICEBERG など）（プレビュー）。
   • AZURE_STORAGE_ACCOUNT_NAME: Blob Storage アカウントの名前
   • CONTAINER_NAME: Blob Storage コンテナの名前
   • FILE_PATH: Blob Storage データを指すデータパス

3. [play_circle実行] をクリックします。

クエリの実行方法については、インタラクティブ クエリを実行するをご覧ください。

例:

CREATE EXTERNAL TABLE absdataset.abstable
WITH CONNECTION `azure-eastus2.abs-read-conn`
  OPTIONS (
    format = 'CSV', uris = ['azure://account_name.blob.core.windows.net/container/path/file.csv']);

bq

テーブル定義ファイルを作成します。

bq mkdef  \
    --source_format=DATA_FORMAT \
    --connection_id=AZURE_LOCATION.CONNECTION_NAME \
    "azure://AZURE_STORAGE_ACCOUNT_NAME.blob.core.windows.net/CONTAINER_NAME/FILE_PATH" > table_def

次のように置き換えます。

• DATA_FORMAT: サポートされているいずれかの BigQuery 連携形式（AVRO、CSV、ICEBERG、PARQUET など）。
• AZURE_LOCATION: Google Cloud の Azure ロケーション（例: azure-eastus2）
• CONNECTION_NAME: 作成した接続の名前
• AZURE_STORAGE_ACCOUNT_NAME: Blob Storage アカウントの名前
• CONTAINER_NAME: Blob Storage コンテナの名前
• FILE_PATH: Blob Storage データを指すデータパス

次に、BigLake テーブルを作成します。

bq mk --external_table_definition=table_def DATASET_NAME.TABLE_NAME

以下を置き換えます。

• DATASET_NAME: 作成したデータセットの名前
• TABLE_NAME: このテーブルにつける名前

たとえば、次のコマンドは新しい BigLake テーブル（my_dataset.my_table）を作成します。これは、パス azure://account_name.blob.core.windows.net/container/path に格納される Blob Storage データに対するクエリを実行でき、ロケーション azure-eastus2 に対する読み取り接続を持ちます。

bq mkdef \
    --source_format=AVRO \
    --connection_id=azure-eastus2.read-conn \
    "azure://account_name.blob.core.windows.net/container/path" > table_def

bq mk \
    --external_table_definition=table_def my_dataset.my_table

API

tables.insert API メソッドを呼び出して、渡す Tableリソースに ExternalDataConfiguration を作成します。

schema プロパティを指定するか autodetect プロパティを true に設定して、サポートされているデータソースのスキーマの自動検出を有効にします。

connectionId プロパティを指定して、Blob Storage への接続に使用する接続を特定します。

コンソール

1. BigQuery ページに移動します。

   BigQuery に移動

2. [エクスプローラ] ペインでプロジェクトを開いて、データセットを選択します。

3. more_vert [アクションを表示する] をクリックしてから、[テーブルを作成する] をクリックします。これで、[テーブルを作成する] ペインが開きます。

4. [送信先] セクションで、次の詳細を指定します。

   1. [テーブルを作成する] で、次のいずれかのオプションを選択します。

      • Amazon S3
      • Azure Blob Storage

   2. ワイルドカードを使用してフォルダへのパスを指定します。次に例を示します。

      • Amazon S3 の場合: s3://mybucket/*
      • Blob Storage の場合: azure://mystorageaccount.blob.core.windows.net/mycontainer/*

      このフォルダは、作成、追加、または上書きするテーブルを含むデータセットと同じロケーションに存在する必要があります。

   3. [ファイル形式] リストでファイル形式を選択します。

   4. [ソースデータ パーティショニング] チェックボックスをオンにして、次の詳細を指定します。

      1. [ソース URI 接頭辞を選択する] で、URI 接頭辞を入力します。例: s3://mybucket/my_files
      2. 省略可: このテーブルのすべてのクエリでパーティション フィルタを要求するには、[パーティション フィルタを要求] チェックボックスをオンにします。パーティション フィルタを要求すると、コストが削減され、パフォーマンスが向上する場合があります。詳細については、クエリ内のパーティション キーに述語フィルタを要求するをご覧ください。

      3. [パーティション推論モード] セクションで、次のいずれかのオプションを選択します。

         • [タイプを自動的に推測する]: パーティション スキーマ検出モードを AUTO に設定します。
         • [すべての列は文字列]: パーティション スキーマ検出モードを STRINGS に設定します。
         • [独自に指定]: パーティション スキーマ検出モードを CUSTOM に設定し、パーティション キーのスキーマ情報を手動で入力します。詳細については、カスタム パーティション キー スキーマをご覧ください。

5. [送信先] セクションで、次の詳細を指定します。

   1. [プロジェクト] で、テーブルを作成するプロジェクトを選択します。
   2. [データセット] で、テーブルを作成するデータセットを選択します。
   3. [テーブル] に、作成するテーブルの名前を入力します。
   4. [テーブルタイプ] で [外部テーブル] が選択されていることを確認します。
   5. [接続 ID] で、先ほど作成した接続を選択します。

6. [スキーマ] セクションで、スキーマの自動検出を有効にするか、ソースファイルがある場合はスキーマを手動で指定できます。ソースファイルがない場合は、スキーマを手動で指定する必要があります。

   • スキーマの自動検出を有効にするには、[自動検出] オプションを選択します。

   • 手動でスキーマを指定するには、[自動検出] オプションをオフにしておきます。[テキストとして編集] を有効にし、テーブル スキーマを JSON 配列として入力します。

7. スキーマと一致しない追加の列値を持つ行を無視するには、[詳細オプション] セクションを開いて [不明な値] を選択します。

8. [テーブルを作成] をクリックします。

SQL

CREATE EXTERNAL TABLE DDL ステートメントを使用します。

1. Google Cloud コンソールで [BigQuery] ページに移動します。

   BigQuery に移動

2. クエリエディタで次のステートメントを入力します。

   CREATE EXTERNAL TABLE `PROJECT_ID.DATASET.EXTERNAL_TABLE_NAME`
   WITH PARTITION COLUMNS
   (
     PARTITION_COLUMN PARTITION_COLUMN_TYPE,
   )
   WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`
   OPTIONS (
     hive_partition_uri_prefix = "HIVE_PARTITION_URI_PREFIX",
     uris=['FILE_PATH'],
     format ="TABLE_FORMAT"
   );

   以下を置き換えます。

   • PROJECT_ID: テーブルを作成するプロジェクトの名前（例: myproject）
   • DATASET: テーブルを作成する BigQuery データセットの名前（例: mydataset）
   • EXTERNAL_TABLE_NAME: 作成するテーブルの名前（例: mytable）
   • PARTITION_COLUMN: パーティショニング列の名前。
   • PARTITION_COLUMN_TYPE: パーティショニング列の型
   • REGION: 接続を含むリージョン（例: us）
   • CONNECTION_ID: 接続の名前（例: myconnection）
   • HIVE_PARTITION_URI_PREFIX: Hive パーティショニング URI プレフィックス。例:
     • s3://mybucket/
     • azure://mystorageaccount.blob.core.windows.net/mycontainer/
   • FILE_PATH: 作成する外部テーブルのデータソースへのパス。例:
     • s3://mybucket/*.parquet
     • azure://mystorageaccount.blob.core.windows.net/mycontainer/*.parquet
   • TABLE_FORMAT: 作成するテーブルの形式（例: PARQUET）

3. [play_circle実行] をクリックします。

クエリの実行方法について詳しくは、インタラクティブ クエリを実行するをご覧ください。

例

次の例では、Amazon S3 のパーティション分割データに対する BigLake テーブルを作成します。スキーマは自動検出されます。

CREATE EXTERNAL TABLE `my_dataset.my_table`
WITH PARTITION COLUMNS
(
  sku STRING,
)
WITH CONNECTION `us.my-connection`
OPTIONS(
  hive_partition_uri_prefix = "s3://mybucket/products",
  uris = ['s3://mybucket/products/*']
);

次の例では、Blob Storage のパーティション分割データに対する BigLake テーブルを作成します。スキーマを指定します。

CREATE EXTERNAL TABLE `my_dataset.my_table`
(
  ProductId INTEGER,
  ProductName, STRING,
  ProductType, STRING
)
WITH PARTITION COLUMNS
(
  sku STRING,
)
WITH CONNECTION `us.my-connection`
OPTIONS(
  hive_partition_uri_prefix = "azure://mystorageaccount.blob.core.windows.net/mycontainer/products",
  uris = ['azure://mystorageaccount.blob.core.windows.net/mycontainer/*']
);

bq

まず、bq mkdef コマンドを使用してテーブル定義ファイルを作成します。

bq mkdef \
--source_format=SOURCE_FORMAT \
--connection_id=REGION.CONNECTION_ID \
--hive_partitioning_mode=PARTITIONING_MODE \
--hive_partitioning_source_uri_prefix=URI_SHARED_PREFIX \
--require_hive_partition_filter=BOOLEAN \
 URIS > DEFINITION_FILE

以下を置き換えます。

• SOURCE_FORMAT: 外部データの形式。例: CSV
• REGION: 接続を含むリージョン（例: us）。
• CONNECTION_ID: 接続の名前（例: myconnection）。
• PARTITIONING_MODE: Hive パーティショニング モード。次の値のいずれかを使用できます。
  • AUTO: キー名と型を自動的に検出します。
  • STRINGS: キー名を自動的に文字列に変換します。
  • CUSTOM: ソース URI 接頭辞でキースキーマをエンコードします。
• URI_SHARED_PREFIX: ソース URI 接頭辞。
• BOOLEAN: クエリ時に述語フィルタを要求するかどうかを指定します。このフラグは省略可能です。デフォルト値は false です。
• URIS: ワイルドカード形式を使用する Amazon S3 または Blob Storage フォルダへのパス。
• DEFINITION_FILE: ローカルマシン上のテーブル定義ファイルへのパス。

PARTITIONING_MODE が CUSTOM の場合、次の形式を使用して、ソース URI プレフィックスにパーティション キー スキーマを含めます。

--hive_partitioning_source_uri_prefix=GCS_URI_SHARED_PREFIX/{KEY1:TYPE1}/{KEY2:TYPE2}/...

テーブル定義ファイルを作成したら、bq mk コマンドを使用して BigLake テーブルを作成します。

bq mk --external_table_definition=DEFINITION_FILE \
DATASET_NAME.TABLE_NAME \
SCHEMA

以下を置き換えます。

• DEFINITION_FILE: テーブル定義ファイルへのパス。
• DATASET_NAME: テーブルを含むデータセットの名前。
• TABLE_NAME: 作成するテーブルの名前。
• SCHEMA: JSON スキーマ ファイルへのパスを指定するか、field:data_type,field:data_type,... 形式のスキーマを指定します。スキーマの自動検出を使用するには、この引数を省略します。

例

次の例では、Amazon S3 データに対して AUTO Hive パーティショニング モードを使用します。

bq mkdef --source_format=CSV \
  --connection_id=us.my-connection \
  --hive_partitioning_mode=AUTO \
  --hive_partitioning_source_uri_prefix=s3://mybucket/myTable \
  --metadata_cache_mode=AUTOMATIC \
  s3://mybucket/* > mytable_def

bq mk --external_table_definition=mytable_def \
  mydataset.mytable \
  Region:STRING,Quarter:STRING,Total_sales:INTEGER

次の例では、Amazon S3 データに対して STRING Hive パーティショニング モードを使用します。

bq mkdef --source_format=CSV \
  --connection_id=us.my-connection \
  --hive_partitioning_mode=STRING \
  --hive_partitioning_source_uri_prefix=s3://mybucket/myTable \
  s3://mybucket/myTable/* > mytable_def

bq mk --external_table_definition=mytable_def \
  mydataset.mytable \
  Region:STRING,Quarter:STRING,Total_sales:INTEGER

次の例では、Blob Storage データに対して CUSTOM Hive パーティショニング モードを使用します。

bq mkdef --source_format=CSV \
  --connection_id=us.my-connection \
  --hive_partitioning_mode=CUSTOM \
  --hive_partitioning_source_uri_prefix=azure://mystorageaccount.blob.core.windows.net/mycontainer/{dt:DATE}/{val:STRING} \
  azure://mystorageaccount.blob.core.windows.net/mycontainer/* > mytable_def

bq mk --external_table_definition=mytable_def \
  mydataset.mytable \
  Region:STRING,Quarter:STRING,Total_sales:INTEGER

API

BigQuery API を使用して Hive パーティショニングを設定するには、テーブル定義ファイルを作成する際に、ExternalDataConfigurationオブジェクトのhivePartitioningOptionsブジェクトを含めます。BigLake テーブルを作成するには、connectionId フィールドの値も指定する必要があります。

hivePartitioningOptions.mode フィールドを CUSTOM に設定した場合、hivePartitioningOptions.sourceUriPrefix フィールドのパーティション キースキーマを次のように入力します。s3://BUCKET/PATH_TO_TABLE/{KEY1:TYPE1}/{KEY2:TYPE2}/...

クエリの実行時に述語フィルタの使用を強制するには、hivePartitioningOptions.requirePartitionFilter フィールドを true に設定します。

コンソール

1. BigQuery ページに移動します。

   BigQuery に移動

2. [エディタ] タブが表示されていない場合は、[add_boxクエリを新規作成] をクリックします。

3. [展開] > [クエリを設定] をクリックします。[クエリの設定] ダイアログが開きます。

4. [クエリ設定]ダイアログの [追加設定] >　[データのロケーション]で、BigQuery Omni リージョンと同じ場所に配置されている BigQuery リージョンを選択します。たとえば、BigQuery Omni リージョンが aws-us-east-1 の場合は、us-east4 を指定します。

5. 残りのフィールドを選択して、[保存] をクリックします。

bq

ジョブの処理を行うロケーションを、BigQuery Omni リージョンと一緒に配置される BigQuery リージョンに設定するには、--location フラグを使用します。たとえば、BigQuery Omni リージョンが aws-us-east-1 の場合は、us-east4 を指定します。

例

bq query --use_legacy_sql=false --location=us-east4 \
"SELECT * FROM region-azure-eastus2.INFORMATION_SCHEMA.JOBS limit 10;"

API

プログラムでジョブを実行する場合は、ロケーション引数を BigQuery Omni リージョンと一緒に配置される BigQuery リージョンに設定します。たとえば、BigQuery Omni リージョンが aws-us-east-1 の場合は、us-east4 を指定します。

Azure PowerShell

次のコマンドを実行して、取得した BigQuery Omni サブネット ID を VirtualNetworkResourceId として指定するネットワーク ルールをストレージ アカウントに追加します。

  Add-AzStorageAccountNetworkRule`
   -ResourceGroupName "RESOURCE_GROUP_NAME"`
   -Name "STORAGE_ACCOUNT_NAME"`
   -VirtualNetworkResourceId "SUBNET_ID1","SUBNET_ID2"

次のように置き換えます。

• RESOURCE_GROUP_NAME: リソース グループ名。
• STORAGE_ACCOUNT_NAME: ストレージ アカウント名。
• SUBNET_ID1、SUBNET_ID1: サブネット ID。この情報は、このページの表で確認できます。

Terraform

Terraform 構成ファイルに以下を追加します。

  resource "azurerm_storage_account_network_rules" "example" {
    storage_account_name       = "STORAGE_ACCOUNT_NAME"
    resource_group_name        = "RESOURCE_GROUP_NAME"
    default_action             = "Allow"
    bypass                     = ["Logging", "Metrics", "AzureServices"]
    virtual_network_subnet_ids = ["SUBNET_ID1","SUBNET_ID2"]
  }

次のように置き換えます。

• STORAGE_ACCOUNT_NAME: ストレージ アカウント名。
• RESOURCE_GROUP_NAME: リソース グループ名。
• SUBNET_ID1、SUBNET_ID1: サブネット ID。この情報は、このページの表で確認できます。