标准数据导出的结构

本文档介绍了导出到 BigQuery 每个表中的 Cloud Billing 标准使用费数据架构的参考信息。

标准使用费数据的架构

在 BigQuery 数据集中，标准 Google Cloud 使用费数据会加载到名为 gcp_billing_export_v1_<BILLING_ACCOUNT_ID> 的数据表中。

以下信息介绍了导出到 BigQuery 的 Google Cloud 标准使用费数据的架构。该架构包含标准 Cloud Billing 账号使用费信息，例如账号 ID、账单日期、服务、SKU、项目、标签、位置、费用、用量、赠金、调整项和货币。

在 BigQuery 中使用标准使用费用数据时，请注意以下事项：

• 为标准使用费用数据选择或创建 BigQuery 数据集时，您可以选择任何支持与 Cloud Billing 数据搭配使用的数据集位置。
• 当您在 Cloud Billing 中首次启用标准使用费用数据导出时，如果您选择配置为使用多区域位置（欧盟或美国）的数据集，则 Cloud Billing 数据将从上月初开始以追溯方式提供。数据按时间顺序导出。对于导出数据的初始回填，追溯性 Cloud Billing 数据最多可能需要 5 天完成导出，然后您才能开始看到最新的使用情况数据。
• 如果您启用标准使用费用数据导出并选择配置为使用受支持的单区域位置的数据集，则 Cloud Billing 数据将从您启用导出之日起开始提供。
• 如果您启用、停用且随后重新启用标准使用费用数据导出，则系统可能不会提供明确停用数据导出时段内的 Cloud Billing 数据。
• 详细了解数据加载到 BigQuery 表的频率。
• 标准使用费用数据不包括任何资源级费用数据，例如产生服务用量的虚拟机或 SSD。如果您想要将资源级费用数据导出到 BigQuery 进行分析，请考虑启用详细使用费用数据导出。导出的详细使用费数据包括标准使用费数据中包含的所有字段和信息。
• 请查看可能会影响将结算数据导出到 BigQuery 的其他限制，例如启用了客户管理的加密密钥 (CMEK) 的数据集。

了解标准和详细使用费数据

以下部分介绍了导出到 BigQuery 的标准和详细使用费数据。

标签简介

特定标签的费用数据仅显示自该标签应用于资源之日起的使用情况。例如，如果您在 2024 年 1 月 15 日向 Compute Engine 虚拟机添加标签 environment:dev，则对 environment:dev 的任何分析都仅包括 1 月 15 日以后该虚拟机的使用情况。

您可能还会看到不同服务在不同时间的标签数据，具体取决于每项服务提供相应数据的时间。

可用的系统标签

系统标签是关于发生了使用的资源的重要元数据的键值对。以下系统标签会自动包含在适用的使用情况中。

导出的数据和账单之间的区别

Google Cloud 产品会以不同的时间间隔向 Cloud Billing 进程报告使用情况和费用数据。因此，您可能会在使用 Google Cloud 服务与可在 Cloud Billing 中查看的使用量和费用之间看到延迟现象。通常，您的费用在一天内可以体现出来，但有时可能需要 24 小时以上。

在某个日历月月末，延迟报告的使用量可能不包含在当月的账单中，而是延至下月的账单。

当您使用时间戳字段查询费用时，返回的数据可能会提取最初未显示在当月生成的账单上且应在以后报告的使用情况。因此，返回的 Cloud Billing 数据可能不会直接反映到该账单上。

时间戳字段包括：

• usage_start_time
• usage_end_time
• export_time

如需返回直接反映到账单的 Cloud Billing 数据，请对 invoice.month 而不是时间戳字段运行查询。

税费

自 2020 年 9 月 1 日起，使用费数据会显示每个项目（而非单个专列项）的纳税金额。如果您的查询或可视化内容依赖于税务数据，您可能需要更新这些查询以体现这些变化。

例如，对于 9 月 1 日之前记录的费用，您的使用费数据类似于以下示例，其中展示了 $10 的总纳税金额。

对于 9 月 1 日之后记录的费用，$10 将细分为 $6 用于 example-project，$4 用于 test-project：

错误和调整

在极少数情况下，如果您的 Cloud Billing 数据中包含错误或需要进行调整，系统会在其中附加更正数据。这些调整分为两类：结算修改或更正。

结算信息修改

结算修改项会显示为单独的订单项。如果您收到了结算修改，则导出到 BigQuery 的 Cloud Billing 数据中会显示新的明细项来反映相应更改。显示的调整项对应于 Google Cloud 控制台结算部分的文档区域中提供的账单、贷记通知单和借记通知单文档。

如需详细了解结算修改以及应用方式，请参阅了解通知单和调整项。

更正

更正项显示为新数据，用于否定来源 SKU 上的错误数据。在某些情况下，新数据会取代错误的扣款。导出的结算数据中的所有列都与原始数据一致，但以下列除外：

• cost
• credit
• usage.amount
• export_time

例如，假设您在 1 月 1 日使用 SKU A 的费用为 10 美元。在 1 月份的账单（2 月初开具）中，您会看到 SKU A 的扣款金额为 10 美元。不过，Google Cloud 在 2 月 2 日针对 SKU A 发布了更正，将使用费用降低到了 5 美元。您的 2 月账单（3 月初开具）中会多出两个专列项：

• 1 月 1 日的费用为 -$10（抵扣原费用）
• 1 月 1 日的费用为 5 美元（注明预期收费金额）

这些新项在导出的账单数据中都有 adjustment_info 列。显示超额收费的 1 月原始账单不会调整。您可以按 usage_start_time 查看费用并按 Day 进行分组，以验证结算数据导出中的扣款。在这些视图中，系统会累计因延迟货币化而产生的任何更正或费用，因此您无需担心任何暂时性数据错误。

如需详细了解更正信息，请查看账单月份中的所有费用，并查找使用日期早于账单月份的费用。这些费用是更正或延迟货币化用量产生的费用。

以下代码示例演示了如何创建一个基本查询以返回更正或延迟货币化用量的总费用：

SELECT
  SUM(cost)
    + SUM(IFNULL((SELECT SUM(c.amount)
      FROM   UNNEST(credits) c), 0))
    AS total
FROM `project.dataset.gcp_billing_export_v1_XXXXXX-XXXXXX-XXXXXX`
WHERE
  invoice.month = '202311' AND
  DATE(TIMESTAMP_TRUNC(usage_start_time, Day, 'US/Pacific')) < '2023-11-01';

如需查看一个查询示例，该查询按服务返回账单费用的费用明细（其中使用日期早于账单月份），请参阅“Cloud Billing 数据导出查询示例”中的查询费用详细信息以查看指定账单月份的更正或延迟货币化用量（按服务）。

自定义价格合同中的赠送金额简介

如果您拥有自定义价格合同，则作为合同的一部分，您可能会获得可在 Google Cloud 上使用的促销赠金。例如，您可能会收到 $1,000，该笔赠金可用于 Compute Engine 资源。促销赠金通常被视为一种付款方式。系统会自动应用赠送金额（如果可用）以减少您的总账单费用。

合同条款规定了赠送金额是适用于按 SKU 定价计算的费用还是按净价（折扣后）计算的费用。

如果您的促销赠金适用于按定价计算的费用，则费用表报告中会有一个名为 Invoice 的服务，其 SKU 名为 Contract billing adjustment。此 SKU 会调整您的赠金，以适用于按定价计算的费用。如要查看调整项适用的使用量，请查询 system.labels 列。system.labels.key 中的键为 cloud-invoice.googleapis.com/sku_id，system.labels.value 中的值包含赠金和调整应用到的 SKU ID。

关于标记

标记是键值对形式的资源，可以直接或通过继承附加到资源。您可以使用标记来执行退款、审核以及进行其他费用分配分析。您还可以使用标记并视情况执行政策以便在资源层次结构内进行精细控制。

标记拥有强大的权限模型，可以支持继承、集中式管理、命名法标准化及政策引擎集成，而标签则是一款单独的工具，您可以使用标签来为资源添加注解。

标记数据会显示在资源、项目、文件夹和组织的 BigQuery 导出结果中。

可用标记

资源、项目、文件夹和组织的“标准费用”和“详细费用”导出结果包括以下标记数据字段：标记键、标记值、继承的标记和标记命名空间。

Cloud Billing 数据导出中的资源级标记适用于以下资源：

• AlloyDB for PostgreSQL 集群、实例和备份
• Artifact Registry 制品库
• Cloud Run 服务和作业
• Cloud Storage 存储桶
• Compute Engine 实例
• Memorystore for Redis 实例
• Secret Manager Secret
• Spanner 实例

标记限制

• 标记最多可能需要一个小时才能传播到 BigQuery 导出结果中。如果标记是在一个小时内被添加或移除的，或者资源存在的时间不超过一个小时，则这些被添加或移除的标记可能不会反映在导出结果中。

标准使用费查询示例

本部分提供了查询导出到 BigQuery 的 Cloud Billing 标准使用费数据的示例。

• 返回账单总费用
  • 示例 1：每个账单月的所有费用总和
  • 示例 2：按费用类型返回每个账单月的详细信息
• 通过标签进行查询的示例
  • 查询每一行而不分组
  • 按以 JSON 字符串表示的标签映射分组
  • 按特定键的标签值分组
  • 按键值对分组
• 承诺使用折扣查询
  • 查看承诺费用
  • 查看承诺赠金
• 使用资源层次结构过滤条件查看祖先实体
• 示例 1：按资源名称过滤
• 示例 2：按显示名称过滤
• 其他查询示例
  • 按项目查询指定账单月的费用和赠金

指定要在查询中使用的表名称

在这些示例中，要在 BigQuery 中查询 Cloud Billing 数据，您需要在 FROM 子句中指定表名称。表名称使用 project.dataset.BQ_table_name 这三个值确定。

• project 是您设置的包含 BigQuery 数据集的 Google Cloud 项目的 ID。
• dataset 是您设置的包含所导出 Cloud Billing 数据的 BigQuery 数据集的名称。
• BQ_table_name 是您要查询的已导出 Cloud Billing 数据所在的 BigQuery 表的名称。有三个包含 Cloud Billing 数据的 BigQuery 表：
  • 标准使用费表：在 BigQuery 数据集中，该表命名为 gcp_billing_export_v1_<BILLING_ACCOUNT_ID>。
  • 详细使用费表：在 BigQuery 数据集中，该表命名为 gcp_billing_export_resource_v1_<BILLING_ACCOUNT_ID>。
  • 价格表：在 BigQuery 数据集中，该表命名为 cloud_pricing_export。

标准费用查询示例中使用的常用值

本部分中的查询示例使用以下值作为表名称：project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX

这些查询示例也适用于导出到 BigQuery 的详细使用费数据，但它们并非用于检索详细使用费导出选项提供的任何资源级信息。

返回账单总费用

以下查询演示了使用导出的结算数据查看费用和赠金值的两种方法。

• total 字段直接对浮点费用和赠金值求和，可能会产生浮点舍入误差。
• total_exact 字段在求和之前将费用和赠金值转换为 micros，然后在求和后转换回美元，以避免产生浮点舍入误差。

示例 1：每个账单的所有费用总和

此查询显示了每个月的账单总额，即常规费用、税费、调整项和舍入误差的总和。

标准 SQL

SELECT
  invoice.month,
  SUM(cost)
    + SUM(IFNULL((SELECT SUM(c.amount)
                  FROM UNNEST(credits) c), 0))
    AS total,
  (SUM(CAST(cost * 1000000 AS int64))
    + SUM(IFNULL((SELECT SUM(CAST(c.amount * 1000000 as int64))
                  FROM UNNEST(credits) c), 0))) / 1000000
    AS total_exact
FROM `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX`
GROUP BY 1
ORDER BY 1 ASC
;

例如，上述查询的结果可能是：

示例 2：按费用类型返回每个账单月的详细信息

此查询显示了每个月每种 cost_type 的费用总额。费用类型包括常规费用、税费、调整项和舍入误差。

标准 SQL

SELECT
  invoice.month,
  cost_type,
  SUM(cost)
    + SUM(IFNULL((SELECT SUM(c.amount)
                  FROM   UNNEST(credits) c), 0))
    AS total,
  (SUM(CAST(cost * 1000000 AS int64))
    + SUM(IFNULL((SELECT SUM(CAST(c.amount * 1000000 as int64))
                  FROM UNNEST(credits) c), 0))) / 1000000
    AS total_exact
FROM `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX`
GROUP BY 1, 2
ORDER BY 1 ASC, 2 ASC
;

例如，上述查询的结果可能是：

通过标签进行查询的示例

以下示例介绍了使用标签查询数据的其他方式。

对于本部分中的示例，我们做如下假设：

• 您有两个应用（grapefruit-squeezer 和 chocolate-masher）。
• 对于每个应用，您有两个环境（开发环境和生产环境）。
• 每个应用的 dev 环境中有 1 个小型实例。
• Prod 环境在美洲和亚洲各有 1 个小型实例。
• 每个实例都带有应用和环境标签。
• 您有 1 个实例不带任何用于实验的标签。

您的总账单金额为 24 美元，明细如下：

查询每一行而不分组

这些费用的细化程度最高的视图是查询每一行而不分组。我们假设除标签和 SKU 说明外的所有其他字段都相同（项目、服务等）。

标准 SQL

SELECT
  sku.description,
  TO_JSON_STRING(labels) as labels,
 cost as cost
FROM `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX`;

旧版 SQL

TO_JSON_STRING not supported.

按以 JSON 字符串表示的标签映射分组

这是按每个标签组合细分费用的一种快速、简单的方式。

标准 SQL

SELECT
  TO_JSON_STRING(labels) as labels,
  sum(cost) as cost
FROM `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX`
GROUP BY labels;

旧版 SQL

TO_JSON_STRING not supported.

按特定键的标签值分组

按照特定标签键的值细分费用是一种常见的使用情形。通过使用 LEFT JOIN 并将键过滤条件置于 JOIN 条件（而不是 WHERE）中，您可以纳入不包含此键的费用，从而获得完整的费用视图。

标准 SQL

SELECT
  labels.value as environment,
  SUM(cost) as cost
FROM `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX`
LEFT JOIN UNNEST(labels) as labels
  ON labels.key = "environment"
GROUP BY environment;

旧版 SQL

SELECT
  labels.value as environment,
  SUM(cost) as cost
FROM [project:dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX]
WHERE labels.key = "environment" OR labels.key IS NULL
GROUP BY environment;

按键值对分组

解读或导出这些结果时要小心。结果中单独的一行显示了系统未进行重复统计时的有效总费用，但不应与其他行合并在一起（除非对应的键相同，或者您确定绝对没有对同一资源设置相应键）。

标准 SQL

SELECT
  labels.key as key,
  labels.value as value,
  SUM(cost) as cost
FROM `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX`
LEFT JOIN UNNEST(labels) as labels
GROUP BY key, value;

旧版 SQL

SELECT
  labels.key as key,
  labels.value as value,
  SUM(cost)
FROM [project:dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX]
GROUP BY key, value;

请注意，总费用大于您的账单费用。

承诺使用折扣查询

以下查询演示了在导出的结算数据中查看与承诺使用折扣关联的费用和赠金的方法。 如需了解承诺费用和赠金如何计入您的 Cloud Billing 账号和项目，请参阅承诺使用折扣的归因。

查看承诺费用

要在结算数据导出中查看承诺使用折扣的承诺费用，请使用以下查询示例。

标准 SQL

SELECT
    invoice.month AS invoice_month,
    SUM(cost) as commitment_fees
FROM `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX`
WHERE LOWER(sku.description) LIKE "commitment%"
GROUP BY 1

查看承诺赠金

如需查看结算数据导出中的承诺使用折扣赠金，请使用以下查询示例。

标准 SQL

SELECT
    invoice.month AS invoice_month,
    SUM(credits.amount) as CUD_credits
FROM `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX`
LEFT JOIN UNNEST(credits) AS credits
WHERE LOWER(credits.name) LIKE "committed use discount%"
GROUP BY 1

使用资源层次结构过滤条件查看祖先实体

您可以使用资源层次结构过滤条件以按项目、文件夹和组织等层次结构元素来汇总费用。这些查询示例显示了对按资源层次结构元素过滤的费用汇总并显示项目祖先的方法。

示例 1：按资源名称过滤

此示例演示的查询按项目祖先实体对费用进行分组，并仅过滤由指定层次结构元素（由相对资源名称标识）生成的费用。

字符串方法

SELECT
    invoice.month AS invoice_month,
    TO_JSON_STRING(project.ancestors) as ancestors,
    SUM(cost)
        + SUM(IFNULL((SELECT SUM(c.amount) FROM UNNEST(credits) c), 0))
        AS net_cost
  FROM `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` as bq
  WHERE TO_JSON_STRING(project.ancestors) like "%resource_name\":\"folders/1234"
  GROUP BY invoice_month, ancestors
  ORDER BY invoice_month, ancestors

UNNEST 方法

SELECT
    invoice.month AS invoice_month,
    TO_JSON_STRING(project.ancestors) as ancestors,
    SUM(cost)
        + SUM(IFNULL((SELECT SUM(c.amount) FROM UNNEST(credits) c), 0))
        AS net_cost
  FROM `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` as bq, UNNEST(project.ancestors) as ancestor
  WHERE ancestor.resource_name = "folders/1234"
  GROUP BY invoice_month, ancestors
  ORDER BY invoice_month, ancestors

示例 2：按显示名称过滤

此示例演示的查询按项目祖先实体对费用进行分组，并仅过滤由指定层次结构元素（由用户提供的显示名标识）下生成的费用。

字符串匹配方法

SELECT
    invoice.month AS invoice_month,
    TO_JSON_STRING(project.ancestors) as ancestors,
    SUM(cost)
        + SUM(IFNULL((SELECT SUM(c.amount) FROM UNNEST(credits) c), 0))
        AS net_cost
  FROM `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` as bq
  WHERE TO_JSON_STRING(project.ancestors) like "%display_name\":\"MyFolderName%"
  GROUP BY invoice_month, ancestors
  ORDER BY invoice_month, ancestors

UNNEST 方法

SELECT
    invoice.month AS invoice_month,
    TO_JSON_STRING(project.ancestors) as ancestors,
    SUM(cost)
        + SUM(IFNULL((SELECT SUM(c.amount) FROM UNNEST(credits) c), 0))
        AS net_cost
  FROM `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` as bq, UNNEST(project.ancestors) as ancestor
  WHERE ancestor.display_name = "MyFolderName"
  GROUP BY invoice_month, ancestors
  ORDER BY invoice_month, ancestors

通过标记进行查询的示例

以下示例演示了使用标记查询数据的方法。

使用标记按账单月份计算费用

以下查询演示了如何使用 cost_center 标记按账单月份计算退货费用。

SELECT
  invoice.month AS invoice_month,
  tag.value AS cost_center,
  ROUND((SUM(CAST(cost AS NUMERIC))
    + SUM(IFNULL((SELECT SUM (CAST(c.amount AS NUMERIC))
                  FROM UNNEST(credits) AS c), 0))), 2)
    AS net_cost
FROM `project-ID.dataset.gcp_billing_export_resource_v1_XXXXXX-XXXXXX-XXXXXX`, UNNEST(tags) AS tag
WHERE tag.key = "cost_center" AND tag.namespace = "821092389413"
GROUP BY invoice.month, tag.value
ORDER BY invoice.month, tag.value;

例如，上述查询的结果可能是：

查看未标记资源的费用

此查询显示未标记资源的账单总额，按账单月份分组。

SELECT
 invoice.month AS invoice_month,
 ROUND((SUM(CAST(cost AS NUMERIC))
   + SUM(IFNULL((SELECT SUM(CAST(c.amount AS NUMERIC))
                 FROM UNNEST(credits) AS c), 0))), 2)
   AS net_cost
FROM
 `project-ID.dataset.gcp_billing_export_v1_XXXXXX-XXXXXX-XXXXXX`
WHERE "color" NOT IN (SELECT key FROM UNNEST(tags))
GROUP BY invoice_month
ORDER BY invoice_month;

例如，上述查询的结果可能是：

其他查询示例

按项目查询指定账单月的费用和赠金

通过提供 2020 年 6 月（格式为 YYYYMM）的特定账单月份，此查询将返回按项目分组的费用和赠金的视图，同时显示项目标签。

标准 SQL

SELECT
  project.name,
  TO_JSON_STRING(project.labels) as project_labels,
  sum(cost) as total_cost,
  SUM(IFNULL((SELECT SUM(c.amount) FROM UNNEST(credits) c), 0)) as total_credits
FROM `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX`
WHERE invoice.month = "202006"
GROUP BY 1, 2
ORDER BY 1;

旧版 SQL

TO_JSON_STRING not supported.

相关主题

与导出的 Cloud Billing 数据相关的主题

• 设置将 Cloud Billing 数据导出到 BigQuery 的功能
• 将 Cloud Billing 数据导出到 BigQuery 的查询示例
• 通过 Looker Studio 直观呈现一段时间内的支出

Google Cloud 控制台中提供的费用和价格报告

• 查看您的 Cloud Billing 报告和费用趋势
• 查看并下载账单或对账单的费用详细信息
• 查看和下载 Google 云服务的价格信息
• 通过费用明细报告了解您节省的费用
• 分析您的承诺使用折扣的有效性
• 查看您的费用和付款记录