BigQuery 内の Cloud Billing データテーブルについて

このドキュメントでは、BigQuery の各テーブルにエクスポートされる Cloud Billing データのスキーマのリファレンス情報について説明します。

課金データテーブル

BigQuery への Cloud Billing データのエクスポートを有効にすると、すぐに BigQuery データセットで課金データテーブルが自動的に作成されます。

  • 標準の使用料金テーブル: BigQuery データセットで、このテーブルには gcp_billing_export_v1_<BILLING_ACCOUNT_ID> という名前が付けられます。
  • 詳細な使用料金テーブル - 標準の使用料金テーブルのすべてのデータ項目に加えて、リソースレベルの費用データを提供する追加の項目（例: サービス使用量を発生させる仮想マシンまたは SSD）が含まれます。BigQuery データセットで、このテーブルには gcp_billing_export_resource_v1_<BILLING_ACCOUNT_ID> という名前が付けられます。
  • 料金データテーブル - BigQuery データセットで、このテーブルには cloud_pricing_export という名前が付けられます。

データの読み込み頻度

標準の使用料金と詳細な使用料金のエクスポート

  • BigQuery への標準の使用料金または詳細な使用料金のエクスポートを最初に有効にしたとき、Google Cloud の費用データが BigQuery データセットに表示されるまでに数時間かかる場合があります。データは時系列でエクスポートされます。今月と前月のデータを遡及的に含めるようにエクスポートが構成されている場合、エクスポートしたデータが現在の使用料データに追いつくまでに最大 5 日ほどかかることがあります。
  • Google Cloud サービスは、Cloud Billing プロセスに使用量データと費用データについてさまざまな間隔で報告します。
  • Cloud Billing は、使用量と費用に関するデータを BigQuery データセットに定期的にエクスポートします（BigQuery へのエクスポートに対する配信やレイテンシの保証はありません）。
  • 使用状況レポートの頻度は Google Cloud サービスによって異なるため、最近使用した Google Cloud サービスの Cloud Billing の使用状況と費用のデータが表示されない場合があります。

料金のエクスポート

  • BigQuery への料金データのエクスポートを最初に有効にした際には、Google Cloud の料金データが表示されるまでに最大 48 時間かかる場合があります。
  • 料金データのエクスポートを有効にすると、Cloud 請求先アカウントに適用される料金データが 1 日に 1 回 BigQuery にエクスポートされます。

データの可用性

  • 標準の使用料金または詳細な使用料金のデータ エクスポートを初めて有効にするお客様の場合:

    • マルチリージョン ロケーション（EU または米国）を使用するように BigQuery データセットを構成した場合、Cloud Billing データは前月の初めまで遡ってエクスポートされます。たとえば、9 月 23 日に標準の使用料金または詳細な使用料金のデータ エクスポートを有効にした場合、エクスポートには 8 月 1 日以降のデータが含まれます。

      データは時系列で 1 日 1 回エクスポートされるため、前月の 1 日のデータが最初に入力されます。エクスポートされたデータの最初のバックフィルでは、Cloud Billing データの遡及的なエクスポートが完了して最新の使用状況データが表示されるまでに最大で 5 日ほどかかる場合があります。

    • サポートされているリージョン ロケーションの一つを使用するように BigQuery データセットを構成した場合は、Cloud Billing のデータのエクスポートを有効にした日付以降に発生した標準の使用料金または詳細な使用料金のデータが利用可能になります。つまり、マルチリージョン以外のデータセット ロケーションの場合、Google Cloud の課金データが過去に遡って追加されることはなく、エクスポートを有効にする前の Cloud Billing データは表示されません。

    • 標準の使用料金または詳細な使用料金のデータ エクスポートを有効にして無効にし、その後に再び有効にした場合、エクスポートを明示的に無効にした期間の Cloud Billing データは利用できなくなる可能性があります。

  • 料金データのエクスポートを有効にしている場合、BigQuery データセットには、最初に料金のエクスポートを有効にした日付以降に発生した Cloud Billing データのみが反映されます。Cloud Billing の料金データが過去に遡って追加されることはありません。エクスポートを有効にする前に発生した日付の料金データは表示されません。

  • BigQuery データセット内のデータには、使用量が記録された時点のリソースの状態が反映されます。新しいラベルをプロジェクトに追加する、またはプロジェクトの階層を変更する（project.ancestors を変更する）など、リソースに変更を加えた場合、これらの変更は今後の使用状況データのエクスポートにのみ表示されます。以前にエクスポートされたレコードは変更されません。

  • エクスポートされたデータ（BigQuery エクスポート レコードなど）を削除した場合、削除されたレコードをバックフィルすることはできません。

  • BigQuery の読み込みは ACID に準拠しているため、BigQuery 内の Cloud Billing エクスポート データセットにデータが読み込まれている間にクエリを実行した場合、読み込み途中のデータが取得されることはありません。

  • 顧客管理の暗号鍵（CMEK）が有効になっているデータセットなど、BigQuery への課金データのエクスポートに影響する可能性のある他の制限事項をご覧ください。

制限事項

Cloud Billing データを BigQuery にエクスポートする場合、次の制限があります。

  • Cloud Billing データの使用に対応している BigQuery データセットのロケーション

    BigQuery データセットは、マルチリージョン（EU または米国）かリージョンのいずれかのロケーションを使用するように構成されています。データセットのロケーションは作成時に設定します。データセットの作成後にロケーションを変更することはできません。

    Cloud Billing データのエクスポートは、すべてのマルチリージョン ロケーション（EU または米国）をサポートしていますが、リージョンのロケーションではサブセットのみをサポートしています。Cloud Billing エクスポート設定を構成するときに、サポート対象外のリージョン ロケーションを使用するように構成されたデータセットを作成または選択すると、エクスポートの設定を保存する際に、無効なデータセット リージョン エラーが表示されます。

    次の表に、Cloud Billing データを含む BigQuery データセットで使用できるマルチリージョン ロケーションとリージョン ロケーションを示します。

    南北アメリカ アジア太平洋 ヨーロッパ

    マルチリージョン: 米国

    リージョン:

    • northamerica-northeast1（モントリオール）
    • southamerica-east1（サンパウロ）
    • us-central1（アイオワ）
    • us-east1（サウスカロライナ）
    • us-east4（北バージニア）
    • us-west1（オレゴン）
    • us-west2（ロサンゼルス）
    • us-west3（ソルトレイクシティ）
    • us-west4（ラスベガス）

    リージョン:

    • asia-east1（台湾）
    • asia-east2（香港）
    • asia-northeast1（東京）
    • asia-northeast2（大阪）
    • asia-northeast3（ソウル）
    • asia-south1（ムンバイ）
    • asia-southeast1（シンガポール）
    • asia-southeast2（ジャカルタ）
    • australia-southeast1（シドニー）

    マルチリージョン: EU

    リージョン:

    • europe-central2（ワルシャワ）
    • europe-north1（フィンランド）
    • europe-west1（ベルギー）
    • europe-west2（ロンドン）
    • europe-west3（フランクフルト）
    • europe-west4（オランダ）
    • europe-west6（チューリッヒ）

  • 標準的な使用料金データまたは詳細な使用料金データを格納する BigQuery データセットの場合、データセットで構成したロケーションのタイプにより、データセットにエクスポートされる Google Cloud 課金データの対象期間が変わります。

    • データセットがマルチリージョン ロケーション（EU または米国）を使用するように構成されている場合、エクスポートの再有効化を実施しない限り、エクスポートを最初に有効にした日の前月の始め以降に発生した Google Cloud 課金データがデータセットに保存されます。つまり、Google Cloud の課金データは、当月と前月について遡及的に追加されます。エクスポートされたデータの最初のバックフィルでは、Cloud Billing データの遡及的なエクスポートが完了して現在の使用状況データが表示されるまでに最大で 5 日ほどかかる場合があります。

    • データセットが、サポートされたリージョン ロケーションを使用するよう構成されている場合、標準的な使用料金データおよび詳細な使用料金データは、Cloud Billing エクスポートを有効にした日付以降に発生した Google Cloud 課金データのみが反映されます。つまり、Google Cloud の課金データは、非マルチリージョン データセット ロケーションに対して遡及的に追加されることはありません。したがって、エクスポートを有効にする前の Cloud Billing データは表示されません。

    • 詳細については、データの可用性をご覧ください。

  • 料金データを格納する BigQuery データセットには、Cloud Billing データのエクスポートの設定日以降に発生した Google Cloud 課金データのみが保存されます。つまり、Google Cloud の料金データが過去に遡って追加されることはなく、エクスポートを有効にする前の Cloud Billing の料金データは表示されません。詳細については、データの可用性をご覧ください。

  • 詳細な使用料金データをエクスポートする場合、Compute Engine に関するリソースレベルの情報も自動的にエクスポートされます。詳細なデータ エクスポートで Google Kubernetes Engine（GKE）クラスタの費用の内訳を表示するには、GKE の費用割り当てを有効にする必要があります。

  • データセットの暗号化: BigQuery に課金データをエクスポートする場合、顧客管理の暗号鍵（CMEK）はサポートされていません。課金データを含むデータセットで CMEK を有効にすると、Cloud Billing は、データセット内の該当テーブルに課金データを書き込むことができなくなります。代わりに、Google が所有して管理する鍵をデータセットが使用できるようにする必要があります。

  • エクスポートされたデータを含むテーブルで BigQuery の行レベルのセキュリティを使用するには、BigQuery の TRUE フィルタを使用して、テーブルに対する完全アクセス権を Cloud Billing エクスポート サービス アカウント billing-export-bigquery@system.gserviceaccount.com に付与する必要があります。次のコマンドで Cloud Billing サービス アカウントにアクセス権を付与します。

    CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

  • リソースレベルのタグが BigQuery のエクスポートに反映されるまで、最長で 1 時間ほどかかることがあります。1 時間以内にタグが追加または削除された場合、あるいはリソースの存在時間が 1 時間未満の場合は、エクスポートに表示されないことがあります。

    リソースレベルのタグは、次のリソースで使用できます。

    • Compute Engine インスタンス
    • Spanner インスタンス
    • Cloud Run サービス
    • Artifact Registry リポジトリ

  • VPC Service Controls を使用している場合、BigQuery のエクスポートがブロックされることがあります。この問題を解決するには、VPC を手動で除外する必要があります。

Google Cloud コンソールで利用可能な費用と料金のレポート

前へ
BigQuery への課金データのエクスポートの設定
次へ
標準データのエクスポートの構造