クラスタ リソースの使用方法について

このページでは、GKE 使用状況測定を使用して、Google Kubernetes Engine（GKE）クラスタの使用プロファイルを把握し、使用量を組織内の個々のチームやビジネス ユニットと結び付ける方法について説明します。GKE 使用状況測定を使用しても、プロジェクトには課金されません。リソースの使用状況を細かく把握できます。

概要

GKE 使用状況測定では、クラスタのワークロードのリソース リクエストと実際のリソース使用量に関する情報がトラッキングされます。現在、測定対象となっているのは、CPU、GPU、TPU、メモリ、ストレージ、下り（外向き）ネットワーク（オプション）に関する情報です。Kubernetes の名前、ラベル、またはその組み合わせを使用して、リソースの使用量を識別できます。

データは BigQuery に保存され、Looker Studio などの外部ツールを使用して直接クエリまたはエクスポートして分析を行うことが可能です。

GKE 使用状況測定は、次のようなシナリオで役立ちます。

• テナントごとにクラスタの名前空間が異なるマルチテナント クラスタで、テナントごとのリソース リクエストと実際のリソース使用量をトラッキングする。
• ワークロードに関連する Kubernetes オブジェクトに一意のラベルを割り当て、特定のクラスタで実行されているワークロードのリソース使用量を確認する。
• リソース リクエストと実際のリソース使用量が大きく異なるワークロードを特定する。その結果、各ワークロードにリソースを効率的に割り当てることができます。

始める前に

作業を始める前に、次のことを確認してください。

• Google Kubernetes Engine API を有効にする。
Google Kubernetes Engine API の有効化
• このタスクに Google Cloud CLI を使用する場合は、gcloud CLI をインストールして初期化する。すでに gcloud CLI をインストールしている場合は、gcloud components update を実行して最新のバージョンを取得する。

制限事項

サンプルの BigQuery クエリと Looker Studio のテンプレートを使用すると、BigQuery でエクスポートした Google Cloud Billing のデータと GKE 使用状況測定データを結合し、クラスタ、名前空間、ラベル別のコスト内訳を見積もることができます。

GKE 使用状況測定データは、あくまでも参照目的のものであり、Google Cloud の請求に対する影響はありません。課金データに関しては、Google Cloud Billing が唯一の情報源となります。

次の制限が適用されます。

• 特別契約割引やクレジットは考慮されません。
• GKE の範囲外で作成されたリソースは、名前空間やラベルで追跡されません。
• Pod と PersistentVolumeClaim オブジェクトのラベルのみが使用状況レポートで追跡されます。
• 動的にプロビジョニングされた PersistentVolumes のみがサポートされています。
• pd-standard と pd-ssd のディスクタイプのみがサポートされています。GKE 使用状況測定には、同じ SKU で両方のディスクタイプのリージョン バージョンの費用が含まれる場合があります。
• Looker Studio では、バーストが可能なマシンタイプの可視化がサポートされていません。
• データは、使用中のクラスタと同じプロジェクト内の BigQuery データセットにのみエクスポートできます。
• ポート 27304、47082、47083 は、下り（外向き）ネットワークのトラッキングで予約されているため、使用しないでください。
• カスタム StorageClass オブジェクトはサポートされていません。
• 下り（外向き）ネットワーク測定は、Windows Server ノードでサポートされていません。
• 下り（外向き）ネットワーク測定は、共有 VPC または VPC ネットワーク ピアリングではサポートされていません。
• 150 個を超えるノードを持つクラスタでは、下り（外向き）ネットワーク測定はサポートされていません。

前提条件

GKE 使用状況測定を使用するには、次の前提条件を満たす必要があります。

• 実際のリソース使用量をトラッキングするには、クラスタで GKE 1.14.2-gke.3 以降を使用する必要があります。
• E2 または N2 マシンタイプを使用している場合、クラスタのバージョンは GKE 1.15.11-gke.9 以降である必要があります。
• BigQuery 課金データのエクスポートが有効になっています。料金は BigQuery の使用量に関連付けられます。
• gcloud コマンドのバージョン 250.0.0 以降が必要です。gcloud --version で確認します。
• Google Cloud プロジェクトで BigQuery API を有効にする必要があります。2018 年 7 月以降に GKE を初めて有効にした場合、API はすでに有効になっています。

GKE 使用状況測定を有効にする

GKE 使用状況測定を有効にするには、まず、クラスタ、プロジェクト内の複数のクラスタまたはプロジェクト全体に対して BigQuery データセットを作成する必要があります。データセットとクラスタのマッピングの選択方法については、1 つ以上の BigQuery データセットの選択をご覧ください。

次に、新しいクラスタの作成時や既存のクラスタの変更時に、GKE 使用状況測定を有効にします。

必要に応じて、Looker Studio ポータル ダッシュボードを作成して、クラスタのリソース使用量を可視化できます。

BigQuery データセットを作成する

Google Cloud プロジェクトのクラスタで GKE 使用状況測定を使用するには、BigQuery データセットを作成してから、使用するクラスタを構成します。同じプロジェクト内のクラスタであれば、複数のクラスタのリソース使用量に関する情報を、単一の BigQuery データセットを使って格納できます。

詳細については、データセットの作成をご覧ください。データセットの Default table expiration を Never に設定すると、テーブルの有効期限が無期限になります。テーブルの有効期限が切れると、空のテーブルが自動的に再作成されます。

クラスタを対象に GKE 使用状況測定を有効にする

gcloud コマンドまたは Google Cloud コンソールを使用して、新規または既存のクラスタで GKE 使用状況測定を有効にできます。

GKE 使用状況測定を有効にすると、デフォルトでリソースの使用量測定も有効になります。リソース リクエストのトラッキングを継続しつつ、リソースの使用量測定だけを無効にするには、gcloud コマンドを使用して GKE 使用状況測定を有効にする方法をご覧ください。

下り（外向き）ネットワークの測定は、デフォルトでは無効になっています。有効にするには、オプション: 下り（外向き）ネットワーク測定を有効にするの注意事項と手順をご覧ください。

新しいクラスタの作成

クラスタを作成するには、gcloud CLI や Google Cloud Console を使用します。

gcloud container clusters create CLUSTER_NAME \
    --resource-usage-bigquery-dataset RESOURCE_USAGE_DATASET

既存のクラスタを構成する

gcloud container clusters update CLUSTER_NAME \
    --resource-usage-bigquery-dataset RESOURCE_USAGE_DATASET

オプション: 下り（外向き）ネットワーク測定を有効にする

デフォルトでは、下り（外向き）ネットワークのデータは収集またはエクスポートされません。下り（外向き）ネットワークを測定するには、各ノードでネットワーク測定エージェント（NMA）を実行する必要があります。NMA は特権 Pod として実行されます。ノード上でリソース（CPU、メモリ、ディスク容量）を使用し、カーネルで nf_conntrack_acct sysctl フラグを有効にします（接続トラッキング フローのアカウンティング用）。

これらの注意事項をよく理解している場合は、GKE の使用状況測定で使用するように下り（外向き）ネットワークの追跡を有効にできます。下り（外向き）ネットワークのトラッキングを有効にするには、クラスタの作成時または更新時に --enable-network-egress-metering オプションを指定するか、Google Cloud Console で GKE 使用状況測定を有効にする際に、[下りネットワーク測定を有効にする] を選択します。

下り（外向き）ネットワーク測定を無効にするには、コマンドラインでクラスタを更新するときに、フラグ --no-enable-network-egress-metering を追加します。または、Google Cloud Console のクラスタの [GKE 使用状況測定] セクションで [下りネットワーク測定を有効にする] をオフにします。

GKE 使用状況測定が有効かどうか確認する

GKE 使用状況測定がクラスタで有効になっているかどうか、どの BigQuery データセットにクラスタのリソース使用量データが格納されているかを確認するには、次のコマンドを使用します。

gcloud container clusters describe CLUSTER_NAME \
    --format="value(resourceUsageExportConfig)"

GKE 使用状況測定が有効でない場合は、出力が空になります。有効な場合は、クラスタで使用される BigQuery データセットが次のように出力されます。

bigqueryDestination={u'datasetId': u'test_usage_metering_dataset'}

1 つ以上の BigQuery データセットを選択する

データセットでは、プロジェクト内に複数のクラスタの GKE 使用状況測定データを保持できます。使用するデータセットの数はセキュリティ要件によって異なります。

• プロジェクト全体で 1 つのデータセットを使用すると、管理が容易になります。
• クラスタごとにデータセットを使用すると、データセットに対するアクセス権をきめ細かく委任できます。
• クラスタの関連グループごとにデータセットを使用すると、必要に応じて簡単さときめ細かさを適切に組み合わせることができます。

Looker Studio ダッシュボードで GKE 使用状況測定データを可視化する

GKE 使用状況測定データは、Looker Studio ダッシュボードを使用して可視化できます。これにより、クラスタ名、名前空間、ラベルでデータをフィルタリングできます。レポート期間を動的に調整することもできます。Looker Studio と BigQuery の使用経験がある場合は、カスタマイズされたダッシュボードを作成できます。また、GKE 使用状況測定専用のダッシュボードのクローンを作成することもできます。

ダッシュボードを使用すると、クラスタに対するリソース リクエストと使用量を可視化できます。

前提条件

1. Google Cloud Billing のデータを BigQuery にエクスポートできるようにします（まだ有効になっていない場合）。

   このプロセスでデータセットを作成しますが、データセット内にテーブルが表示され、更新されるまでに最大 5 時間かかります。テーブルが表示されると、gcp_billing_export_v1_BILLING_ACCOUNT_ID のような名前になります。

2. プロジェクト内の少なくとも 1 つのクラスタで GKE 使用状況測定を有効にします。BigQuery データセットに選択した名前をメモしておきます。

3. Looker Studio が有効になっていない場合は有効にします。

4. 次の情報を収集します。ダッシュボードの構成時に必要になります。

   • Cloud Billing エクスポート データセット ID とデータテーブル
   • GKE 使用状況測定データセット ID

5. BigQuery CLI のバージョン 2.0.58 以降を使用していることを確認します。バージョンを確認するには、bq version と gcloud components update を実行して BigQuery CLI を更新します。

6. このセクションのコマンドは、Linux ターミナルまたは Cloud Shell で実行する必要があります。

BigQuery の費用内訳表を作成する

1. 次のいずれかのクエリ テンプレートをダウンロードします。

   • 使用量測定を有効にした場合は、this template をダウンロードしてください。
   • 使用量測定を有効にしていない場合は、this template をダウンロードしてください。

   Cloud Shell を使用している場合は、次のコマンドを実行するディレクトリにこのファイルをコピーします。

2. 次のコマンドを実行して、環境変数を設定します。

   export GCP_BILLING_EXPORT_TABLE_FULL_PATH=YOUR_BILLING_EXPORT_TABLE_PATH
   export USAGE_METERING_PROJECT_ID=YOUR_USAGE_METERING_PROJECT_ID
   export USAGE_METERING_DATASET_ID=YOUR_USAGE_METERING_DATASET_ID
   export USAGE_METERING_START_DATE=YOUR_USAGE_METERING_START_DATE
   export COST_BREAKDOWN_TABLE_ID=YOUR_COST_BREAKDOWN_TABLE_ID
   export USAGE_METERING_QUERY_TEMPLATE=YOUR_TEMPLATE_PATH
   export USAGE_METERING_QUERY=YOUR_RENDERED_QUERY_PATH
   

   次のように置き換えます。

   • YOUR_BILLING_EXPORT_TABLE_PATH: 生成された課金データのエクスポート テーブルへのパス。このテーブルの名前は PROJECT_ID.DATASET_ID.gcp_billing_export_v1_xxxx のようになります。
   • YOUR_USAGE_METERING_PROJECT_ID: Google Cloud Platform プロジェクトの名前。
   • YOUR_USAGE_METERING_DATASET_ID: BigQuery で作成したデータセットの名前（all_billing_data など）。
   • YOUR_USAGE_METERING_START_DATE: クエリの開始日（YYYY-MM-DD 形式）。
   • YOUR_COST_BREAKDOWN_TABLE_ID: 選択した新しいテーブルの名前（usage_metering_cost_breakdown など）。このテーブルは Looker Studio への入力として使用されます。
   • YOUR_TEMPLATE_PATH: ダウンロードしたクエリ テンプレートの名前（usage_metering_query_template_request_and_consumption.sql または usage_metering_query_template_request_only.sql）。
   • YOUR_RENDERED_QUERY_PATH: 選択したレンダリングされたクエリのパスの名前（cost_breakdown_query.sql など）。

   たとえば、環境変数は次のようになります。

   export GCP_BILLING_EXPORT_TABLE_FULL_PATH=my-billing-project.all_billing_data.gcp_billing_export_v1_xxxx
   export USAGE_METERING_PROJECT_ID=my-billing-project
   export USAGE_METERING_DATASET_ID=all_billing_data
   export USAGE_METERING_START_DATE=2022-05-01
   export COST_BREAKDOWN_TABLE_ID=usage_metering_cost_breakdown
   export USAGE_METERING_QUERY_TEMPLATE=usage_metering_query_template_request_only.sql
   export USAGE_METERING_QUERY=cost_breakdown_query.sql
   

3. テンプレートからクエリをレンダリングします。

   sed \
   -e "s/\${fullGCPBillingExportTableID}/$GCP_BILLING_EXPORT_TABLE_FULL_PATH/" \
   -e "s/\${projectID}/$USAGE_METERING_PROJECT_ID/" \
   -e "s/\${datasetID}/$USAGE_METERING_DATASET_ID/" \
   -e "s/\${startDate}/$USAGE_METERING_START_DATE/" \
   "$USAGE_METERING_QUERY_TEMPLATE" \
   > "$USAGE_METERING_QUERY"
   

4. 24 時間ごとに更新される新しい費用内訳テーブルを作成します。

   bq query \
   --project_id=$USAGE_METERING_PROJECT_ID \
   --use_legacy_sql=false \
   --destination_table=$USAGE_METERING_DATASET_ID.$COST_BREAKDOWN_TABLE_ID \
   --schedule='every 24 hours' \
   --display_name="GKE Usage Metering Cost Breakdown Scheduled Query" \
   --replace=true \
   "$(cat $USAGE_METERING_QUERY)"
   

   クエリのスケジューリングの詳細については、スケジュールされたクエリを設定するをご覧ください。

BigQuery データソースを作成する

1. Looker Studio で、[データソース] に移動します。
2. [add作成]、[データソース] の順にクリックします。
3. [BigQuery] を選択します。
4. データソースに名前を付けます。ツールバーで無題のデータソースをクリックして、テキストをわかりやすい名前に置き換えます。
5. [カスタムクエリ] を選択して、プロジェクト ID を選択します。

6. 次のクエリをクエリエディタに貼り付けます。

   SELECT
     *
   FROM
     `USAGE_METERING_PROJECT_ID.USAGE_METERING_DATASET_ID.COST_BREAKDOWN_TABLE_ID`
   

7. [接続] をクリックします。

Looker Studio のダッシュボードを作成する

1. GKE 使用状況測定ダッシュボードをプロジェクトにコピーします。
2. [more_vertその他のオプション] をクリックし、content_copy [コピーを作成] をクリックします。
3. [Copy this report] ダイアログの [New data source] リストで、作成したデータソースを選択します。
4. [Copy report] をクリックします。

ダッシュボードが作成され、プロジェクトの Looker Studio レポートのリストにいつでもアクセスできるようになります。

Looker Studio ダッシュボードを使用する

ダッシュボードには複数のレポートが含まれています。

使用状況の内訳

このレポートには、同じ BigQuery のデータソースに使用状況測定データを送信するすべてのクラスタに関して、全体的なクラスタ使用率が表示されます。また、CPU、メモリ、名前空間による下り（外向き）ネットワークなど、リソースタイプに関する詳細情報も格納されます。レポートデータを 1 つ以上のクラスタまたは名前空間に制限できます。

未割り当てリソースの使用状況の内訳

このレポートは、使用状況の内訳レポートに似ていますが、未割り当てリソースがすべての名前空間に均等に配分されています。未割り当てリソースには、アイドル リソースや、その時点で GKE 使用状況測定によって特定のテナントに割り当てられていないリソースが含まれます。

費用の傾向 - 名前空間別の詳細

同じ BigQuery のデータソースに使用状況測定データを送信するすべてのクラスタに関して、名前空間別の使用量の傾向が表示されます。1 つまたは複数のクラスタ、名前空間、リソース、SKU を選択できます。

費用の傾向 * ラベル別の詳細

同じ BigQuery のデータソースに使用状況測定データを送信するすべてのクラスタに関して、費用の傾向が表示されます。1 つまたは複数のクラス、リソース、ラベル名、ラベル値を選択できます。

使用量をベースとした測定

同じ BigQuery のデータソースに使用状況測定データを送信するすべてのクラスタに関して、使用量の傾向が表示されます。1 つまたは複数の名前空間、ラベルキー、ラベル値を選択できます。このレポートは、少なくとも 1 つのクラスタでリソース使用量測定が有効になっている場合にのみ生成されます。

ナビゲーション メニューを使用して、ページを変更できます。ページに表示する期間を日付ピッカーで変更できます。組織のメンバーとレポートの共有やアクセスの取り消しを行うには、[person_add_altShare Report] をクリックします。

レポートをプロジェクトにコピーした後、Looker Studio レポート エディタでレポートをカスタマイズできます。Google が提供するレポート テンプレートが変更されても、コピーに影響はありません。

BigQuery を使用して GKE 使用状況測定データを探索する

BigQuery を使用するリソース リクエストに関するデータを表示するには、関連する BigQuery データセット内の gke_cluster_resource_usage テーブルに対してクエリを実行します。

実際のリソースの使用量に関するデータを表示するには、gke_cluster_resource_consumption テーブルに対してクエリを実行します。下り（外向き）ネットワークの使用量のデータについては、リソース リクエストに下り（外向き）の概念がないことから、gke_cluster_resource_usage に保持されます。

BigQuery でのクエリの使用の詳細については、クエリの実行をご覧ください。スキーマのフィールドは固定ですが、今後さらに多くのフィールドが追加される可能性があります。

これらのクエリは簡単な例です。クエリをカスタマイズして必要なデータを見つけてください。

リソース リクエストに対するクエリ

SELECT
  cluster_name,
  labels,
  usage
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage'
WHERE
  namespace="NAMESPACE"

リソース使用量に対するクエリ

SELECT
  cluster_name,
  labels,
  usage
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption'
WHERE
  namespace="NAMESPACE"

次のように置き換えます。

• CLUSTER_GCP_PROJECT: クエリを実行するクラスタを含む Google Cloud プロジェクトの名前。
• USAGE_METERING_DATASET: 使用状況測定テーブルの名前。
• NAMESPACE: 名前空間の名前。

その他の例

より高度な例を見るには、以下のセクションを開いてください。

SELECT
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id,
  MIN(resource_usage.start_time) AS usage_start_time,
  MAX(resource_usage.end_time) AS usage_end_time,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' AS resource_usage
LEFT JOIN (
  SELECT
    sku.id AS sku_id,
    SUM(cost) / SUM(usage.amount) AS rate,
    MIN(usage_start_time) AS min_usage_start_time,
    MAX(usage_end_time) AS max_usage_end_time
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = "CLUSTER_GCP_PROJECT"
  GROUP BY
    sku_id) AS gcp_billing_export
ON
  resource_usage.sku_id = gcp_billing_export.sku_id
WHERE
  resource_usage.start_time >= gcp_billing_export.min_usage_start_time
  AND resource_usage.end_time <= gcp_billing_export.max_usage_end_time
GROUP BY
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id
  

SELECT
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id,
  MIN(resource_usage.start_time) AS usage_start_time,
  MAX(resource_usage.end_time) AS usage_end_time,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' AS resource_usage
LEFT JOIN (
  SELECT
    sku.id AS sku_id,
    SUM(cost) / SUM(usage.amount) AS rate,
    MIN(usage_start_time) AS min_usage_start_time,
    MAX(usage_end_time) AS max_usage_end_time
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = "CLUSTER_GCP_PROJECT"
  GROUP BY
    sku_id) AS gcp_billing_export
ON
  resource_usage.sku_id = gcp_billing_export.sku_id
WHERE
  resource_usage.start_time >= gcp_billing_export.min_usage_start_time
  AND resource_usage.end_time <= gcp_billing_export.max_usage_end_time
GROUP BY
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id
  

DECLARE drilldown_label STRING DEFAULT 'DRILLDOWN_LABEL';
DECLARE project_id STRING default "CLUSTER_GCP_PROJECT";

SELECT
  DATE(start_time) as date,
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  label.value AS label_value,
  resource_usage.resource_name,
  resource_usage.sku_id,
  gcp_billing_export.sku_description,
  SUM(resource_usage.usage.amount) AS usage,
  resource_usage.usage.unit AS usage_unit,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost_estimate,
  gcp_billing_export.currency
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' AS resource_usage

-- select only workloads matching the defined "drilldown_label"
  CROSS JOIN UNNEST(labels) AS label ON label.key=drilldown_label

-- join with billing table to get pricing information and sku description
  LEFT JOIN (
  SELECT
    DATE(usage_start_time) as date,
    sku.id AS sku_id,
    sku.description AS sku_description,
    SAFE_DIVIDE(SUM(cost), SUM(usage.amount)) AS rate,
    currency
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = project_id
  GROUP BY
    date,
    sku_id,
    sku_description,
    currency) AS gcp_billing_export
  ON DATE(resource_usage.start_time) = gcp_billing_export.date AND resource_usage.sku_id = gcp_billing_export.sku_id

GROUP BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name,
  sku_id,
  sku_description,
  usage_unit,
  currency

ORDER BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name
  

DECLARE drilldown_label STRING DEFAULT 'DRILLDOWN_LABEL';
DECLARE project_id STRING default "CLUSTER_GCP_PROJECT";

SELECT
  DATE(start_time) as date,
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  label.value AS label_value,
  resource_usage.resource_name,
  resource_usage.sku_id,
  gcp_billing_export.sku_description,
  SUM(resource_usage.usage.amount) AS usage,
  resource_usage.usage.unit AS usage_unit,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost_estimate,
  gcp_billing_export.currency
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' AS resource_usage

-- select only workloads matching the defined "drilldown_label"
  CROSS JOIN UNNEST(labels) AS label ON label.key=drilldown_label

-- join with billing table to get pricing information and sku description
  LEFT JOIN (
  SELECT
    DATE(usage_start_time) as date,
    sku.id AS sku_id,
    sku.description AS sku_description,
    SAFE_DIVIDE(SUM(cost), SUM(usage.amount)) AS rate,
    currency
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = project_id
  GROUP BY
    date,
    sku_id,
    sku_description,
    currency) AS gcp_billing_export
  ON DATE(resource_usage.start_time) = gcp_billing_export.date AND resource_usage.sku_id = gcp_billing_export.sku_id

GROUP BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name,
  sku_id,
  sku_description,
  usage_unit,
  currency

ORDER BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name
  

WITH
  constraints AS (
    SELECT
      TIMESTAMP(START_TIME) as min_time,
      TIMESTAMP(END_TIME) as max_time,
      "CLUSTER_GCP_PROJECT" as project_id
  ),
  request_based_amount_by_namespace AS (
    SELECT
      namespace,
      resource_name,
      SUM(usage.amount) AS requested_amount,
      usage.unit AS unit
    FROM
      'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' as requested_resource_usage
    INNER JOIN
      constraints
    ON
      requested_resource_usage.start_time >= constraints.min_time
      AND requested_resource_usage.end_time <= constraints.max_time
      AND requested_resource_usage.project.id = constraints.project_id
    GROUP BY
      namespace, resource_name, usage.unit
  ),
  consumption_based_amount_by_namespace AS (
    SELECT
      namespace,
      resource_name,
      SUM(usage.amount) AS consumed_amount,
      usage.unit AS unit
    FROM
      'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' as consumed_resource_usage
    INNER JOIN
      constraints
    ON
      consumed_resource_usage.start_time >= constraints.min_time
      AND consumed_resource_usage.end_time <= constraints.max_time
      AND consumed_resource_usage.project.id = constraints.project_id
    GROUP BY
      namespace, resource_name, usage.unit
  )
SELECT
  request_based_amount_by_namespace.namespace,
  request_based_amount_by_namespace.resource_name,
  requested_amount,
  consumed_amount,
  request_based_amount_by_namespace.unit,
  CASE
    WHEN consumed_amount IS NULL THEN NULL
    WHEN requested_amount = 0 THEN NULL
    ELSE consumed_amount / requested_amount END
      AS consumption_to_request_ratio
FROM
  request_based_amount_by_namespace
  FULL JOIN
  consumption_based_amount_by_namespace
  ON
  request_based_amount_by_namespace.namespace = consumption_based_amount_by_namespace.namespace
  AND
  request_based_amount_by_namespace.resource_name = consumption_based_amount_by_namespace.resource_name
ORDER BY
  consumption_to_request_ratio
DESC
  

BigQuery における GKE 使用量測定のスキーマ

次の表では、BigQuery データセットにおける GKE 使用状況測定テーブルのスキーマについて説明しています。リソース使用量測定とリソース リクエストをサポートする GKE バージョンをクラスタで実行している場合には、同じスキーマを持つテーブルが追加で作成されます。

GKE 使用状況測定の単位は、次のように解釈する必要があります。

1. CPU usage.unit は、Pod がリクエストまたは使用した合計 CPU 時間（秒単位）です。たとえば、2 個の Pod のそれぞれが 30 個の CPU をリクエストし、15 分間実行した場合、リクエスト テーブルの合計量は 54,000 秒になります（2 Pod × 30 CPU × 15 分 × 60 秒 / 分）。

2. メモリ usage.unit はバイト秒です。これは、Pod がリクエストまたは使用した時間の経過に伴うメモリの積分です。たとえば、2 個の Pod のそれぞれが 30 GiB をリクエストし、15 分間実行した場合、リクエスト テーブルの合計量は 5.798 + 13 バイト秒となります（2 Pod × 30 GiB × 15 分 × 60 秒 / 分 x 1073741824 バイト / GiB）。

GKE 使用状況測定データが BigQuery に書き込まれるタイミングの把握

GKE 使用状況測定が BigQuery の指標に使用状況レコードを書き込む条件は 2 つあります。

1. Pod のフェーズが succeeded または failed に変更されたか、または Pod が削除されたとき。

2. Pod の実行中に、レコードを書き込む 1 時間ごとのスケジュールのタイムスタンプに到達したとき。

   GKE 使用状況測定では、現在実行中のすべての Pod の Pod 使用状況レコードを BigQuery に書き込む 1 時間ごとのスケジュールが生成されます。スケジュールのタイムスタンプは、すべてのクラスタで同じではありません。

   そのタイムスタンプで複数の Pod が実行中の場合、end_time が同じ複数の使用状況レコードが作成されます。これらの使用状況レコードの end_time は、1 時間ごとのスケジュールのタイムスタンプを表します。

   また、複数の Pod が数時間実行されている場合、使用状況レコードのセットの end_time が別の使用状況レコードのセットの start_time と一致します。

GKE 使用状況測定を無効にする

gcloud container clusters update CLUSTER_NAME \
    --clear-resource-usage-bigquery-dataset

次のステップ

• クラスタ マルチテナンシーについて学習する
• Cloud Billing について学習する
• Looker Studio について学習する