パーティションとクラスタの推奨事項を管理する

このドキュメントでは、パーティションとクラスタの Recommender の仕組みと、推奨事項と分析情報の表示方法、パーティションとクラスタの推奨事項を適用する方法について説明します。

Recommender の仕組み

BigQuery のパーティショニングとクラスタリングの Recommender は、BigQuery テーブルを最適化するためのパーティションまたはクラスタの推奨事項を生成します。Recommender は、BigQuery テーブルのワークフローを分析し、テーブル パーティショニングまたはテーブル クラスタリングのいずれかを使用してワークフローとクエリの費用を最適化するための推奨事項を提供します。

Recommender サービスの詳細については、Recommender の概要をご覧ください。

パーティショニングとクラスタリングの Recommender は過去 30 日間のプロジェクトのワークロード実行データを使用して、最適ではないパーティショニングとクラスタリングの構成について BigQuery テーブルを分析します。また、Recommender は ML を使用して、異なるパーティショニングまたはクラスタリングの構成でワークロードの実行がどの程度最適化されるかを予測します。Recommender は、テーブルのパーティショニングまたはクラスタリングによって大幅な費用削減が見込めると判断した場合、推奨事項を生成します。パーティショニングとクラスタリングの Recommender では、次のタイプの推奨事項が生成されます。

それぞれの推奨事項は、次の 3 つの部分で構成されています。

• 特定のテーブルをパーティショニングまたはクラスタリングを行うためのガイダンス
• パーティショニングまたはクラスタリングを行うテーブル内の特定の列
• 推奨事項の適用による毎月の推定削減額

Recommender は、潜在的なワークロード削減額を計算するために、過去 30 日間の実行ワークロード データが将来のワークロードを表すことを前提としています。

また、Recommender API は、テーブル ワークロード情報を分析情報の形式で返します。分析情報は、プロジェクトのワークロードの理解に役立つ検出結果であり、パーティションまたはクラスタの推奨事項によってワークロードの費用がどのように改善されるかに関するより多くのコンテキストを提供します。

制限事項

• パーティショニングとクラスタリングの Recommender は、レガシー SQL を使用した BigQuery テーブルをサポートしていません。Recommender は、推奨事項を生成するときに、分析でレガシー SQL クエリを除外します。また、レガシー SQL を使用して BigQuery テーブルにパーティションの推奨事項を適用すると、そのテーブル内のレガシー SQL ワークフローがすべて機能しなくなります。

  パーティションの推奨事項を適用する前に、レガシー SQL ワークフローを GoogleSQL に移行してください。

• BigQuery では、テーブルのパーティショニング スキームの変更はサポートされていません。テーブルのパーティショニングを変更できるのは、テーブルのコピーに対してのみです。詳細については、パーティションの推奨事項を適用するをご覧ください。

ロケーション

パーティショニングとクラスタリングの Recommender は、次の処理ロケーションで使用できます。

	リージョンの説明	リージョン名	詳細
アジア太平洋
	デリー	asia-south2
	香港	asia-east2
	ジャカルタ	asia-southeast2
	ムンバイ	asia-south1
	大阪	asia-northeast2
	ソウル	asia-northeast3
	シンガポール	asia-southeast1
	シドニー	australia-southeast1
	台湾	asia-east1
	東京	asia-northeast1
ヨーロッパ
	ベルギー	europe-west1	低 CO2
	ベルリン	europe-west10	低 CO2
	EU（マルチリージョン）	eu
	フランクフルト	europe-west3	低 CO2
	ロンドン	europe-west2	低 CO2
	オランダ	europe-west4	低 CO2
	チューリッヒ	europe-west6	低 CO2
南北アメリカ
	アイオワ	us-central1	低 CO2
	ラスベガス	us-west4
	ロサンゼルス	us-west2
	モントリオール	northamerica-northeast1	低 CO2
	北バージニア	us-east4
	オレゴン	us-west1	低 CO2
	ソルトレイクシティ	us-west3
	サンパウロ	southamerica-east1	低 CO2
	トロント	northamerica-northeast2	低 CO2
	米国（マルチリージョン）	us

始める前に

• Google Cloud プロジェクトで Gemini in BigQuery が有効になっていることを確認します。
• Recommender API を有効にします。

必要な権限

パーティションとクラスタの推奨事項にアクセスするために必要な権限を取得するには、BigQuery パーティショニング クラスタリング Recommender 閲覧者（roles/recommender.bigqueryPartitionClusterViewer）の IAM ロールを付与するよう管理者に依頼してください。ロールの付与については、プロジェクト、フォルダ、組織へのアクセスを管理するをご覧ください。

この事前定義ロールには、パーティションとクラスタの推奨事項にアクセスするために必要な権限が含まれています。必要とされる正確な権限については、「必要な権限」セクションを開いてご確認ください。

カスタムロールや他の事前定義ロールを使用して、これらの権限を取得することもできます。

BigQuery における IAM ロールと権限の詳細については、IAM の概要をご覧ください。

推奨事項を表示する

このセクションでは、Google Cloud コンソール、Google Cloud CLI、Recommender API を使用して、パーティションとクラスタの推奨事項と分析情報を表示する方法について説明します。

次のオプションのいずれかを選択します。

gcloud recommender recommendations list \
    --project=PROJECT_NAME \
    --location=REGION_NAME \
    --recommender=google.bigquery.table.PartitionClusterRecommender \
    --format=FORMAT_TYPE \

gcloud recommender insights list \
    --project=PROJECT_NAME \
    --location=REGION_NAME \
    --insight-type=google.bigquery.table.StatsInsight \
    --format=FORMAT_TYPE \

curl
    -H "Authorization: Bearer $GCLOUD_AUTH_TOKEN"
    -H "x-goog-user-project: PROJECT_NAME" https://recommender.googleapis.com/v1/projects/my-project/locations/us/recommenders/google.bigquery.table.PartitionClusterRecommender/recommendations

curl
-H "Authorization: Bearer $GCLOUD_AUTH_TOKEN"
-H "x-goog-user-project: PROJECT_NAME" https://recommender.googleapis.com/v1/projects/my-project/locations/us/insightTypes/google.bigquery.table.StatsInsight/insights

クラスタの推奨事項を適用する

クラスタの推奨事項を適用するには、次のいずれかを行います。

• クラスタを元のテーブルに直接適用する
• コピーしたテーブルにクラスタを適用する
• マテリアライズド ビューでクラスタを適用する

クラスタを元のテーブルに直接適用する

クラスタの推奨事項は、既存の BigQuery テーブルに直接適用できます。この方法は、コピーしたテーブルに推奨事項を適用するよりも迅速ですが、バックアップ テーブルは保持されません。

パーティション分割されていないテーブルまたはパーティション分割テーブルに新しいクラスタリング仕様を適用する手順は次のとおりです。

1. bq ツールで、新しいクラスタリングと一致するようにテーブルのクラスタリング仕様を更新します。

    bq update --clustering_fields=CLUSTER_COLUMN DATASET.ORIGINAL_TABLE 

   以下を置き換えます。

   • CLUSTER_COLUMN: クラスタリングする列（例: mycolumn）
   • DATASET: テーブルを含むデータセットの名前（例: mydataset）
   • ORIGINAL_TABLE: 元のテーブルの名前（例: mytable）

   tables.update または tables.patch の API メソッドを呼び出して、クラスタリング仕様を変更することもできます。

2. 新しいクラスタリング仕様に従ってすべての行をクラスタ化するには、次の UPDATE ステートメントを実行します。

   UPDATE DATASET.ORIGINAL_TABLE SET CLUSTER_COLUMN=CLUSTER_COLUMN WHERE true

コピーしたテーブルにクラスタを適用する

BigQuery テーブルにクラスタの推奨事項を適用するときに、まず元のテーブルをコピーしてから、コピーしたテーブルに推奨事項を適用します。この方法では、変更をクラスタリング構成にロールバックする必要がある場合に、元のデータが確実に保持されます。

この方法を使用すると、パーティション分割されていないテーブルとパーティション分割されたテーブルの両方にクラスタのレコメンデーションを適用できます。

1. Google Cloud コンソールで、[BigQuery] ページに移動します。

   BigQuery に移動

2. Query Editor で、LIKE 演算子を使用して、元のテーブルと同じメタデータ（クラスタリング仕様を含む）を含む空のテーブルを作成します。

   CREATE TABLE DATASET.COPIED_TABLE
   LIKE DATASET.ORIGINAL_TABLE

   以下を置き換えます。

   • DATASET: テーブルを含むデータセットの名前（例: mydataset）
   • COPIED_TABLE: コピーしたテーブルの名前（例: copy_mytable）
   • ORIGINAL_TABLE: 元のテーブルの名前（例: mytable）

3. Google Cloud コンソールで、Cloud Shell エディタを開きます。

   Cloud Shell をアクティブにする

4. Cloud Shell エディタで、bq update コマンドを使用して、コピーしたテーブルのクラスタリング仕様を推奨されたクラスタリングと一致するように更新します。

    bq update --clustering_fields=CLUSTER_COLUMN DATASET.COPIED_TABLE 

   CLUSTER_COLUMN は、クラスタリングする列（例えば、mycolumn）に置き換えます。

   tables.update または tables.patch の API メソッドを呼び出して、クラスタリング仕様を変更することもできます。

5. Query Editor で、パーティショニングまたはクラスタリングが存在する場合は、元のテーブルのパーティショニングとクラスタリングの構成を使用してテーブル スキーマを取得します。スキーマを取得するには、元のテーブルの INFORMATION_SCHEMA.TABLES ビューを表示します。

   SELECT
     ddl
   FROM
     DATASET.INFORMATION_SCHEMA.TABLES
   WHERE
     table_name = 'DATASET.ORIGINAL_TABLE;'

   出力は、PARTITION BY 句を含む ORIGINAL_TABLE の完全なデータ定義言語（DDL）ステートメントです。DDL 出力の引数の詳細については、CREATE TABLE ステートメントをご覧ください。

   DDL 出力には、元のテーブルのパーティショニング タイプが表示されます。

   パーティショニング タイプ	出力の例
   パーティション分割なし	PARTITION BY 句が存在しない。
   テーブル列によってパーティション分割された	PARTITION BY c0
   	PARTITION BY DATE(c0)
   	PARTITION BY DATETIME_TRUNC(c0, MONTH)
   取り込み時間によってパーティション分割された	PARTITION BY _PARTITIONDATE
   	PARTITION BY DATETIME_TRUNC(_PARTITIONTIME, MONTH)

6. コピーしたテーブルにデータを取り込みます。使用するプロセスは、パーティション タイプに従って決まります。

   • 元のテーブルがパーティション分割されていないか、テーブル列によってパーティション分割されている場合は、元のテーブルからコピーしたテーブルにデータを取り込みます。

     INSERT INTO DATASET.COPIED_TABLE
     SELECT * FROM DATASET.ORIGINAL_TABLE

   • 元のテーブルが取り込み時間によってパーティション分割されている場合は、次の手順に従います。

     1. INFORMATION_SCHEMA.COLUMNS ビューを使用して、データ取り込み式を形成する列のリストを取得します。

        SELECT
        ARRAY_TO_STRING((
        SELECT
          ARRAY(
          SELECT
            column_name
          FROM
            DATASET.INFORMATION_SCHEMA.COLUMNS
          WHERE
            table_name = 'ORIGINAL_TABLE')), ", ")

        出力は、列名のカンマ区切りのリストです。

     2. 元のテーブルからコピーされたテーブルにデータを取り込みます。

        INSERT DATASET.COPIED_TABLE (COLUMN_NAMES, _PARTITIONTIME)
        SELECT *, _PARTITIONTIME FROM DATASET.ORIGINAL_TABLE

        COLUMN_NAMES は、前のステップの出力である列のカンマ区切りのリスト（たとえば、col1, col2, col3）に置き換えます。

   これで、元のテーブルと同じデータを含むクラスタ化されたテーブルが作成されました。次のステップでは、元のテーブルを新しくクラスタ化されたテーブルに置き換えます。

7. 元のテーブルの名前をバックアップ テーブルに変更します。

   ALTER TABLE DATASET.ORIGINAL_TABLE
   RENAME TO DATASET.BACKUP_TABLE

   BACKUP_TABLE は、バックアップ テーブルの名前（たとえば、backup_mytable）に置き換えます。

8. コピーされたテーブルの名前を元のテーブルに変更します。

   ALTER TABLE DATASET.COPIED_TABLE
   RENAME TO DATASET.ORIGINAL_TABLE

   これで、元のテーブルがクラスタの推奨事項に従ってクラスタ化されました。

• IAM 権限、行レベルのアクセス、列レベルのアクセスなどのアクセスと権限。
• テーブル クローン、テーブル スナップショット、検索インデックスなどのテーブル アーティファクト。
• マテリアライズド ビューやテーブルをコピーした際に実行されたジョブなどの任意の進行中のテーブル プロセスのステータス。
• タイムトラベルを使用して過去のテーブルデータにアクセスする能力。
• 元のテーブルに関連付けられているメタデータ（例: table_option_list、column_option_list）。詳細については、データ定義言語ステートメントをご覧ください。

問題が発生した場合は、影響を受けるアーティファクトを新しいテーブルに手動で移行する必要があります。

    DROP TABLE DATASET.BACKUP_TABLE
    

マテリアライズド ビューでクラスタを適用する

パーティションの推奨事項を適用する

パーティションの推奨事項を適用するには、元のテーブルのコピーに適用する必要があります。BigQuery では、テーブルのパーティショニング スキーマの変更はサポートされていません。たとえば、パーティション分割されていないテーブルをパーティション分割テーブルに変更すること、テーブルのパーティショニング スキーマを変更すること、ベーステーブルとは異なるパーティショニング スキーマを使用してマテリアライズド ビューを作成することはできません。テーブルのパーティショニングを変更できるのは、テーブルのコピーに対してのみです。

コピーしたテーブルにパーティションの推奨事項を適用する

BigQuery テーブルにパーティションの推奨事項を適用するときは、まず元のテーブルをコピーしてから、コピーしたテーブルに推奨事項を適用します。このアプローチにより、パーティションをロールバックする必要がある場合に、元のデータが保持されます。

次の手順では、推奨事項の例を使用して、パーティション時間単位 DAY でテーブルをパーティション分割します。

1. パーティションの推奨事項を使用して、テーブルのコピーを作成します。

   CREATE TABLE DATASET.COPIED_TABLE
   PARTITION BY DATE_TRUNC(PARTITION_COLUMN, DAY)
   AS SELECT * FROM DATASET.ORIGINAL_TABLE

   以下を置き換えます。

   • DATASET: テーブルを含むデータセットの名前（例: mydataset）
   • COPIED_TABLE: コピーしたテーブルの名前（例: copy_mytable）
   • PARTITION_COLUMN: パーティショニングする列（例: mycolumn）

   パーティション分割テーブルの作成の詳細については、パーティション分割テーブルの作成をご覧ください。

2. 元のテーブルの名前をバックアップ テーブルに変更します。

   ALTER TABLE DATASET.ORIGINAL_TABLE
   RENAME TO DATASET.BACKUP_TABLE

   BACKUP_TABLE は、バックアップ テーブルの名前（たとえば、backup_mytable）に置き換えます。

3. コピーされたテーブルの名前を元のテーブルに変更します。

   ALTER TABLE DATASET.COPIED_TABLE
   RENAME TO DATASET.ORIGINAL_TABLE

   これで、元のテーブルがパーティションの推奨事項に従ってパーティション分割されました。

• IAM 権限、行レベルのアクセス、列レベルのアクセスなどのアクセスと権限。
• テーブル クローン、テーブル スナップショット、検索インデックスなどのテーブル アーティファクト。
• マテリアライズド ビューやテーブルをコピーした際に実行されたジョブなどの任意の進行中のテーブル プロセスのステータス。
• タイムトラベルを使用して過去のテーブルデータにアクセスする能力。
• 元のテーブルに関連付けられているメタデータ（例: table_option_list、column_option_list）。詳細については、データ定義言語ステートメントをご覧ください。
• レガシー SQL を使用して、クエリ結果をパーティション分割テーブルに書き込む能力。レガシー SQL はパーティション分割テーブルでは完全にはサポートされていません。1 つのソリューションは、パーティションの推奨事項の適用前に、レガシー SQL ワークフローを Google SQL に移行することです。

問題が発生した場合は、影響を受けるアーティファクトを新しいテーブルに手動で移行する必要があります。

    DROP TABLE DATASET.BACKUP_TABLE
    

料金

この機能の料金の詳細については、Gemini in BigQuery の料金の概要をご覧ください。

• 処理費用。推奨事項を適用する際は、BigQuery プロジェクトにデータ定義言語（DDL）またはデータ操作言語（DML）クエリを実行します。
• ストレージの費用テーブルをコピーする場合は、コピーした（またはバックアップの）テーブル用に追加のストレージを使用します。

標準の処理料金とストレージ料金が、プロジェクトに関連付けられた請求先アカウントに応じて適用されます。詳細については、BigQuery の料金をご覧ください。

割り当てと上限

この機能の割り当てと上限については、Gemini in BigQuery の割り当てをご覧ください。

トラブルシューティング

問題: 特定のテーブルに対する推奨事項が表示されない。

次のような状況では、パーティションとクラスタの推奨事項が表示されないことがあります。

• テーブルが 10 GB 未満。
• データ操作言語（DML）オペレーションによるテーブルの書き込みコストが高い。
• テーブルが過去 30 日間読み取られていない。
• 1 か月あたりの推定削減額が少なすぎる（1 スロット時間未満の削減）。
• テーブルがすでにクラスタ化されている。