Atualizações no modelo de dados dos CUDs com base em gastos

Como parte da expansão do programa de descontos por compromisso de uso (CUDs), atualizamos o modelo de CUD com base em gastos e oferecemos ferramentas para ajudar você a se preparar para as mudanças, que incluem:

• Exportação de dados de amostra do BigQuery: um conjunto de dados de amostra que demonstra como ativar muda a aparência das exportações de dados de CUD com base em gastos no BigQuery.
• Exemplos de consultas de KPI de CUD: consultas de exemplo para usar com a exportação de dados de amostra do BigQuery e calcular indicadores principais de desempenho (KPIs) importantes de CUD.
• Novos detalhes de CUD: descrições de novos campos de CUD e migração de dados, por exemplo, novos IDs de SKUs de taxa de CUD, nomes de ofertas e IDs de modelo de consumo.

Exportação de dados de amostra do BigQuery

É possível usar a exportação de dados de amostra do BigQuery para preparar seus sistemas internos para as mudanças que ocorrem nos dados de CUD com base em gastos. O processo para usar a exportação de dados de exemplo tem estas etapas principais:

1. Confira os pré-requisitos.
2. Ative a exportação de dados de amostra.
3. Deixe os novos dados se acumularem.
4. Explore o novo modelo de dados e as consultas.
5. Atualize seus sistemas e fluxos de trabalho internos de acordo com as mudanças.

Pré-requisitos

Você precisa atender aos seguintes pré-requisitos para usar a exportação de dados de amostra:

• Você precisa ter uma exportação de dados de faturamento detalhada ou padrão configurada para sua conta do Cloud Billing. Para mais informações, consulte Configurar a exportação de dados do Cloud Billing para o BigQuery.

• Você precisa ter permissões no projeto proprietário da exportação e na conta do Cloud Billing em que a exportação está sendo ativada. Exemplo:

  • Permissão bigquery.datasets.create no projeto que contém o conjunto de dados.
  • Permissão billing.accounts.getUsageExportSpec na conta do Cloud Billing.

  Para encontrar papéis predefinidos do Cloud Billing que contêm essas permissões, como Leitor da conta de faturamento, Gerente de custos da conta de faturamento ou Administrador da conta de faturamento, consulte Controle de acesso e permissões do Cloud Billing. Para mais informações sobre permissões específicas do BigQuery, consulte Papéis e permissões do BigQuery IAM.

• Quando você cria uma conta do Cloud Billing, a atribuição proporcional é ativada por padrão para compromissos baseados em gastos. Caso contrário, você precisa ter ativado o recurso para usar essa exportação. Para isso, siga estas instruções.

• Se você tiver a VPC ativada para recursos do BigQuery no seu projeto ou organização, crie regras de entrada e saída para ativar corretamente:

  • Crie uma regra de entrada que dê acesso à pessoa para criar a exportação:

  - ingressFrom:
      identities:
      - PRINCIPAL_ID_FOR_PERSON_ENABLING_SUBSCRIPTION
      sources:
      - accessLevel: "*"
  ingressTo:
      roles:
      - roles/bigquery.dataOwner
      resources:
      - projects/YOUR_PROJECT_ID_TO_HOST_SAMPLE_DATA
  title: 'Sample Export Ingress'
  

  • Crie uma regra de saída para permitir que o Google Cloud crie o conjunto de dados vinculado do BigQuery na VPC:

  - egressTo:
      roles:
      - roles/bigquery.dataOwner
      resources:
      - projects/710382390241
  egressFrom:
      identityType: ANY_IDENTITY
      sources:
      - accessLevel: "*"
      sourceRestriction: RESTRICTION_STATUS
  title: 'Sample Export Egress'
  

Ativar a exportação de dados de amostra

Para ativar a exportação de dados de amostra, siga estas etapas:

1. Abra a seção "Exportação de faturamento" do console Google Cloud .

   Acessar a exportação de faturamento

2. Na caixa de diálogo Exportação de faturamento, selecione a conta do Cloud Billing em que você quer ativar a exportação de dados de amostra, conforme mostrado na tela a seguir.

3. O processo de exportação de dados começa e leva aproximadamente um dia para ser ativado. Você vai ver a seguinte nota até que ela esteja pronta: Depois de ativar a exportação de dados de amostra, ela começa a coletar dados do Cloud Billing, com novos dados adicionados continuamente até janeiro de 2026. Aguarde tempo suficiente para que dados suficientes se acumulem na exportação antes de atualizar seus sistemas para se alinhar ao novo modelo de dados.

4. Quando a exportação estiver pronta, você vai ver a seguinte notificação na seção "Faturamento" do console Google Cloud :

   A exportação de dados é criada como um conjunto de dados vinculado no mesmo conjunto de dados do BigQuery que contém sua exportação detalhada ou padrão de dados de faturamento. Como é um conjunto de dados vinculado, você não vai receber cobranças extras pela exportação de amostra. Para mais informações, consulte Introdução ao BigQuery Sharing.

5. Clique em Ver conjunto de dados de amostra para abrir o BigQuery no consoleGoogle Cloud , onde é possível executar consultas para entender seus KPIs importantes de CUD.

Limitações de exportação de amostras

A exportação de dados de amostra é uma ferramenta útil para se preparar para as mudanças no modelo de dados, mas difere das exportações de dados reais das seguintes maneiras importantes:

• Após a migração: não use as exportações de amostra depois de ativar o novo modelo de dados, porque elas não serão mais precisas.
• Tamanho da saída: devido à diferença na agregação de dados, o tamanho da exportação de amostra pode variar da exportação real que você vê depois de ativar essas mudanças.
• Métodos de arredondamento: devido a diferenças nos métodos de arredondamento, podem ocorrer pequenas discrepâncias em valores muito pequenos ou em moedas que não sejam o dólar americano.
• Taxas proporcionais: a exportação de amostra pode superestimar os custos da primeira e da última hora de uma compra de CUD porque não considera as taxas de compromisso de hora parcial da mesma forma. A compra de um CUD baseado em gastos calcula a taxa proporcionalmente para a primeira hora.

Exemplo de exportação de dados antes e depois do novo modelo de CUD

O novo modelo de CUD com base em gastos exige que você planeje e ajuste seus sistemas internos que podem consumir dados do Cloud Billing. Por isso, apresentamos os seguintes cenários para mostrar como o esquema de exportação de dados e os dados mudam antes e depois do novo modelo de CUD. Além disso, dividimos esses cenários em situações de uso excessivo e insuficiente das CUDs para mostrar o efeito na exportação de dados.

Nos dois cenários, considere que você comprou uma VM E2-Standard-8 em US Central 1, que consiste em duas SKUs para RAM e Core. Esses SKUs usam os ID fictícios RAM SKU e Core SKU, respectivamente.

Em seguida, você compra um 1 Year GCE Flex CUD por US $0,1/h para o cenário de uso excessivo e US$ 0,3/h para o cenário de uso insuficiente. Eles são representados nos dados como o ID fictício Fee SKU.

Cenário de CUD superutilizado

No cenário de uso excessivo, você fez as compras mencionadas anteriormente e usou demais os CUDs.

Data anterior

Antes do novo modelo de CUD, o esquema de exportação e os valores de dados do Cloud Billing eram semelhantes à tabela a seguir.

^{1. Essa coluna representa o valor do rótulo goog-originating-sku-id.}

Data após

Depois do novo modelo de CUD, o esquema de exportação e os valores de dados do Cloud Billing serão semelhantes à tabela a seguir.

^{1. Essa coluna representa o valor do rótulo goog-originating-sku-id.}

Observe o seguinte neste novo modelo de CUD:

• Há duas linhas para cada CUD, em vez de uma para cada.
• Há uma nova coluna consumption_model.description que separa as entradas extras de CUD, em que:
  • O valor Compute Flexible CUDs 1 Year indica que você recebeu o desconto CUD esperado.
  • O valor Default indica que você usou demais o CUD, e o custo voltou aos preços padrão para o valor excedente. Isso também é indicado pelo fato de subscription.instance_id não ter um valor.
  • As linhas de taxa de CUD também têm o valor Default, porque os descontos não se aplicam a elas. Em vez disso, o campo credits indica que um ajuste negativo foi aplicado para negar a taxa.

Cenário de CUD subutilizado

Para esse cenário de subutilização, presumimos que você fez as compras mencionadas anteriormente e subutilizou os CUDs.

Data anterior

Antes do novo modelo de CUD, o esquema de exportação e os valores de dados do Cloud Billing eram semelhantes à tabela a seguir.

^{1. Essa coluna representa o valor do rótulo goog-originating-sku-id.}

Data após

Depois do novo modelo de CUD, o esquema de exportação e os valores de dados do Cloud Billing serão semelhantes à tabela a seguir.

^{1. Essa coluna representa o valor do rótulo goog-originating-sku-id.}

Observe o seguinte neste novo modelo de CUD:

• Há duas linhas para cada CUD, em vez de uma para cada.
• Há uma nova coluna consumption_model.description que separa as entradas extras de CUD, em que:
  • O valor Compute Flexible CUDs 1 Year indica que você recebeu o desconto CUD esperado.
  • O valor Default indica as linhas de taxas de CUD, porque os descontos não se aplicam a elas. Em vez disso, o campo credits indica que um valor negativo foi aplicado para negar as taxas, que foram acumuladas na primeira linha.
• A primeira linha mostra uma soma das taxas de CUD.

Exemplos de consultas para KPIs principais de CUD

Use essas métricas importantes de KPI para validar se os sistemas estão funcionando bem com o novo modelo de dados:

1. Economia com compromisso (US$): descreve a economia resultante dos seus compromissos. A métrica usa a fórmula (Cost of resources at on-demand rates - cost of resources with commitment discounts).
2. Economia do compromisso (%): descreve a porcentagem de economia resultante dos seus compromissos. A métrica usa a fórmula (Commitment savings / costs of resources at on-demand rates)*100.
3. Utilização do compromisso (%): mede a eficácia com que você usa seus compromissos, expressa como uma porcentagem. A métrica usa a fórmula (Commitment applied to eligible spend / total commitment).

4. Taxa de economia efetiva (%): explica o retorno do investimento (ROI) dos descontos por compromisso. A métrica usa a fórmula (Commitment Savings / On-Demand Equivalent Spend).

   Para ter uma visão melhor dos seus dados de custo, as seguintes consultas de amostra do BigQuery mostram como recuperar informações úteis para os KPIs a seguir.

Escolher o exemplo de consulta correto

Para ajudar você a atualizar suas consultas de acordo com as mudanças no modelo de dados, fornecemos duas versões das consultas de exemplo de KPI. Escolha uma destas opções:

• Exemplos de consultas de KPI usando o modelo de dados legados
• Exemplos de consultas de KPI usando o novo modelo de dados

Exemplos de consultas de KPI usando o modelo de dados legado

Use essas consultas de exemplo se você não estiver usando o novo modelo de dados.

Essas consultas são apenas para CUDs flexíveis do Compute. Para consultar outros produtos de CUD com base em gastos, mude os seguintes valores:

• cud_product
• sku.description
• credit.type

Custo do CUD mais economia do CUD

WITH
 cost_data AS (
   SELECT *
   FROM project.dataset.gcp_billing_export_resource_v1_NNNNNN_NNNNNN_NNNNNN
   WHERE invoice.month = 'month'
 ),
 cud_product_data AS (
   SELECT * FROM UNNEST(
     [
       STRUCT(
         'Compute Engine Flexible CUDs' AS cud_product,
         'Commitment - dollar based v1: GCE' AS cud_fee_regex,
         'GCE Commitments' AS cud_credit_regex)])
 ),
 cud_costs AS (
   SELECT
     invoice.month AS invoice_month,
     cud_product_data.cud_product,
     IFNULL(
       (
         SELECT l.value
         FROM UNNEST(labels) l
         WHERE l.key = 'goog-originating-service-id'
       ),
       service.id) AS service,
     SUM(cost) AS cost
   FROM
     cost_data
   JOIN cud_product_data
     ON
       REGEXP_CONTAINS(
         sku.description, cud_fee_regex)
   GROUP BY 1, 2, 3
 ),
 cud_credits AS (
   SELECT
     invoice.month AS invoice_month,
     cud_product,
     service.id AS service,
     SUM(credit.amount) AS spend_cud_credits
   FROM
     cost_data, UNNEST(credits) AS credit
   JOIN cud_product_data
     ON
       REGEXP_CONTAINS(
         credit.full_name, cud_credit_regex)
   WHERE
     credit.type = 'COMMITTED_USAGE_DISCOUNT_DOLLAR_BASE'
   GROUP BY 1, 2, 3
 )
SELECT
 invoice_month,
 cud_product,
 cost As commitment_cost,
 -1 * (cost + IFNULL(spend_cud_credits, 0)) AS commitment_savings
FROM cud_costs
LEFT JOIN cud_credits
 USING (invoice_month, cud_product, service);

• month é o ano e o mês atuais no formato YYYYMM, por exemplo, "202504".

Utilização do compromisso

WITH
 cost_data AS (
   SELECT *
   FROM project.dataset.gcp_billing_export_resource_v1_NNNNNN_NNNNNN_NNNNNN
   WHERE invoice.month = 'month'
 ),
 cud_product_data AS (
   SELECT * FROM UNNEST(
     [
       STRUCT(
         'Compute Engine Flexible CUDs' AS cud_product,
         'Commitment - dollar based v1: GCE' AS cud_fee_regex,
         'GCE Commitments' AS cud_credit_regex)])
),
 cud_commitment_amount AS (
   SELECT
     invoice.month AS invoice_month,
     cud_product_data.cud_product,
     SUM(usage.amount_in_pricing_units / 100) AS commitment_amount,
   FROM
     cost_data
   JOIN cud_product_data
     ON
       REGEXP_CONTAINS(
         sku.description, cud_fee_regex)
   GROUP BY 1, 2
 ),
 cud_utilized_commitment_amount AS (
   SELECT
     invoice.month AS invoice_month,
     cud_product,
     ABS(SUM(credit.amount / currency_conversion_rate))
       AS utilized_commitment_amount
   FROM
     cost_data, UNNEST(credits) AS credit
   JOIN cud_product_data
     ON
       REGEXP_CONTAINS(
         credit.full_name, cud_credit_regex)
   WHERE
     credit.type = 'COMMITTED_USAGE_DISCOUNT_DOLLAR_BASE'
   GROUP BY 1, 2
 )
SELECT
 invoice_month,
 cud_product,
 utilized_commitment_amount / commitment_amount *100 AS commitment_utilization
FROM cud_commitment_amount
LEFT JOIN cud_utilized_commitment_amount
 USING (invoice_month, cud_product);

• month é o ano e o mês atuais no formato YYYYMM, por exemplo, "202504".

Taxa de poupança efetiva

WITH
 cost_data AS (
   SELECT *
   FROM project.dataset.gcp_billing_export_resource_v1_NNNNNN_NNNNNN_NNNNNN
   WHERE invoice.month = 'month'
 ),
 cud_product_data AS (
   SELECT * FROM UNNEST(
     [
       STRUCT(
         'Compute Engine Flexible CUDs' AS cud_product,
         'Commitment - dollar based v1: GCE' AS cud_fee_regex,
         'GCE Commitments' AS cud_credit_regex)])
 ),
 eligible_cud_skus AS (
   SELECT sku_id
   FROM example_project.dataset.flex_cud_skus
 ),
 eligible_cud_spend AS (
   SELECT
     invoice.month AS invoice_month,
     SUM(cost) AS cost,
     SUM(
       IFNULL(
         (
           SELECT SUM(credit.amount)
           FROM UNNEST(credits) AS credit
           WHERE
             credit.type IN (
               'COMMITTED_USAGE_DISCOUNT',
               'COMMITTED_USAGE_DISCOUNT_DOLLAR_BASE',
               'DISCOUNT',
               'FREE_TIER')
         ),
         0)) AS costs_ineligible_for_cud,
   FROM cost_data
   JOIN eligible_cud_skus
     ON sku.id = sku_id
   GROUP BY 1
 ),
 cud_costs AS (
   SELECT
     invoice.month AS invoice_month,
     cud_product_data.cud_product,
     IFNULL(
       (
         SELECT l.value
         FROM UNNEST(labels) l
         WHERE l.key = 'goog-originating-service-id'
       ),
       service.id) AS service,
     SUM(cost) AS cost
   FROM
     cost_data
   JOIN cud_product_data
     ON
       REGEXP_CONTAINS(
         sku.description, cud_fee_regex)
   GROUP BY 1, 2, 3
 ),
 cud_credits AS (
   SELECT
     invoice.month AS invoice_month,
     SUM(credit.amount) AS spend_cud_credits
   FROM
     cost_data, UNNEST(credits) AS credit
   WHERE
     credit.type = 'COMMITTED_USAGE_DISCOUNT_DOLLAR_BASE'
     AND REGEXP_CONTAINS(credit.full_name, 'GCE Commitments')
   GROUP BY 1
 ),
cud_savings AS (
  SELECT
   invoice_month,
   Cud_product,
   spend_cud_credits as spend_cud_credits,
   -1 * (cost + IFNULL(spend_cud_credits, 0)) AS commitment_savings
FROM cud_costs
LEFT JOIN cud_credits
 USING (invoice_month)
)
SELECT
 Invoice_month,
 commitment_savings * 100
   / (cost + costs_ineligible_for_cud - IFNULL(spend_cud_credits, 0))
   AS effective_savings_rate
FROM eligible_cud_spend
LEFT JOIN cud_savings
 USING (invoice_month);

• month é o ano e o mês atuais no formato YYYYMM, por exemplo, "202504".

Consultas de KPI de amostra usando o novo modelo de dados

Use esta consulta de exemplo se você adotou o novo modelo de dados.

Essas consultas são apenas para CUDs flexíveis do Compute. Para consultar outros produtos de CUD com base em gastos, mude os seguintes valores:

• cud_fee_skus
• consumption_model.id

SET bigquery_billing_project = billing-project-id;

WITH
  cost_data AS (
    SELECT *
    FROM
      project.dataset.gcp_billing_export_resource_v1_NNNNNN_NNNNNN_NNNNNN
    WHERE invoice.month = 'month'
  ),
  cud_fee_skus AS (
    SELECT * FROM UNNEST(
      [
        '5515-81A8-03A2',
        'B22F-51BE-D599'])
      fee_sku_id
  ),
  cud_costs AS (
    SELECT
      invoice.month AS invoice_month,
      subscription.instance_id AS subscription_instance_id,
      IFNULL(
        (
          SELECT l.value
          FROM UNNEST(labels) l
          WHERE l.key = 'goog-originating-service-id'
        ),
        service.id) AS service,
      SUM(cost) AS commitment_cost,
      SUM(
        (
          SELECT SUM(credit.amount)
          FROM UNNEST(credits) credit
          WHERE credit.type = 'FEE_UTILIZATION_OFFSET'
        )) AS fee_utilization_offset
    FROM
      cost_data
    JOIN cud_fee_skus
      ON fee_sku_id = sku.id
    GROUP BY 1, 2, 3
  ),
  cud_savings AS (
    SELECT
      invoice.month AS invoice_month,
      subscription.instance_id,
      service.id AS service,
      SUM(cost - cost_at_effective_price_default) AS cud_savings_amount,
      SUM(cost_at_effective_price_default) AS on_demand_costs
    FROM
      cost_data
    WHERE
      consumption_model.id IS NOT NULL
      AND consumption_model.id IN ('D97B-0795-975B','70D7-D1AB-12A4')
    GROUP BY 1, 2, 3
  )
SELECT
  invoice_month,
  subscription_instance_id,
  service,
  commitment_cost,
  commitment_cost + fee_utilization_offset + IFNULL(cud_savings_amount, 0)
    AS commitment_savings,
  ABS(fee_utilization_offset) / commitment_cost * 100 AS cud_utilization_percent,
  (commitment_cost + fee_utilization_offset + IFNULL(cud_savings_amount, 0))
    / IFNULL(on_demand_costs, 1) * 100 AS effective_savings_rate
FROM cud_costs
LEFT JOIN cud_savings
  USING (invoice_month, subscription_instance_id, service);

• month é o ano e o mês atuais no formato YYYYMM, por exemplo, "202504".

Exportação do Cloud Billing para o BigQuery

A exportação do Cloud Billing para o BigQuery padrão, detalhada e de refaturamento (somente revendedor) de dados, adicione ou mude os seguintes campos:

Mudanças na exportação de preços

A exportação do Cloud Billing para o BigQuery adiciona ou muda estes campos para informações de preços:

Novas informações sobre produtos de CUD

As novas SKUs de taxa de CUD substituem as atuais, e os novos IDs de oferta e de modelo de consumo se aplicam a todos os CUDs no escopo. Use os detalhes a seguir para ajustar suas consultas e painéis.

Migração de ofertas e ID do modelo de consumo

A tabela a seguir mostra os IDs de modelo de ofertas e consumo que serão migrados do modelo de dados antigo para o novo.

Migração do ID da SKU da taxa de CUD

As tabelas a seguir mostram os IDs de SKU da taxa de CUD que migram do modelo de dados antigo para o novo, por produto.

Cloud Run

Bigtable

Dataflow

Memorystore para Redis

Cloud Spanner

Kubernetes Engine

AlloyDB para PostgreSQL

Cloud SQL

Flexíveis do Compute

Serviço gerenciado para Apache Kafka

BigQuery

Cloud Firestore

Backup e DR para Oracle

Temas relacionados

• Saiba mais sobre as melhorias no programa de CUDs baseados em gastos.