Preços do Dataplex Universal Catalog

Os preços do catálogo universal do Dataplex são baseados no uso de pagamento por uso. Atualmente, o Dataplex Universal Catalog cobra com base nas seguintes SKUs:

• Processamento do Dataplex Universal Catalog (padrão e premium)
• Armazenamento de reordenação do Dataplex Universal Catalog
• Armazenamento de metadados
• Chamadas da API Data Catalog

Confira abaixo uma visão geral de como cada recurso principal do Dataplex Universal Catalog é cobrado:

Além disso, as chamadas da API Data Catalog são faturadas com base nas taxas da API Data Catalog.

Outro uso

Os recursos de organização de dados no Dataplex Universal Catalog (configuração de lago, zona ou recursos) e a aplicação e propagação da política de segurança são fornecidos sem custo financeiro.

Além disso, algumas funcionalidades do Dataplex Universal Catalog (incluindo tarefas de qualidade e ingestão de dados agendadas e conectores gerenciados do Dataplex Universal Catalog para ingerir metadados do Cloud SQL e do Looker) acionam a execução de jobs usando o Dataproc Serverless, o BigQuery, o Dataflow e o Cloud Scheduler. Essas utilizações são cobradas de acordo com os modelos de preços do Dataproc, BigQuery, Dataflow e Cloud Scheduler, e as cobranças vão aparecer em Dataproc, BigQuery e Dataflow, em vez de Dataplex Universal Catalog.

Preços do processamento do Dataplex Universal Catalog

O processamento padrão e premium do Dataplex Universal Catalog é medido pela Unidade de Computação de Dados (DCU). A DCU-hora é uma unidade de faturamento abstrata do Dataplex Universal Catalog, e a medição real depende dos recursos individuais que você usa.

Preços do processamento padrão do Dataplex Universal Catalog

O nível padrão do Dataplex Universal Catalog abrange a funcionalidade de descoberta de dados que descobre metadados nos dados gerenciados pelo Dataplex Universal Catalog. Confira abaixo os preços de acordo com a região escolhida.

Nível gratuito do Dataplex Universal Catalog

Como parte do Nível gratuito do Google Cloud, o Dataplex Universal Catalog oferece alguns recursos gratuitos até um limite específico. Esses limites de uso gratuito estão disponíveis durante e após o período de teste gratuito. Se você ultrapassar esses limites de uso e não estiver mais no período de teste, a cobrança será feita de acordo com os preços apresentados nas seções acima.

Preços do processamento premium do Dataplex Universal Catalog

O nível de processamento premium do Dataplex abrange a linhagem, a qualidade, o perfil e o workbench de exploração de dados.

As cobranças de CUP para cada atributo são calculadas da seguinte forma:

• Verificações automáticas de qualidade de dados:
  • O consumo de horas de DCU é proporcional ao processamento envolvido na criação de perfil dos dados e no cálculo das métricas de qualidade de dados. A cobrança é feita por segundo, com um mínimo de um minuto.
  • A cobrança depende do número de linhas, do número de colunas, da quantidade de dados que você digitalizou, da configuração da regra de qualidade de dados, das configurações de particionamento e agrupamento na tabela e da frequência da digitalização.
  • Há várias opções para reduzir o custo das verificações automáticas de qualidade de dados:
    • Amostra
    • Verificações incrementais
  • Para separar as cobranças de qualidade de dados das outras cobranças na SKU de processamento premium do Dataplex, no relatório de faturamento do Cloud, use o rótulo goog-dataplex-workload-type com o valor DATA_QUALITY.
  • Para filtrar cobranças agregadas, use os seguintes rótulos disponíveis na exportação de faturamento no BigQuery:
    • goog-dataplex-datascan-data-source-dataplex-entity
    • goog-dataplex-data-lake-dataplex-data-lake-data-source
    • goog-dataplex-datascan-data-source-dataplex-zone
    • goog-dataplex-datascan-data-source-project
    • goog-dataplex-datascan-data-source-region
    • goog-dataplex-datascan-id
    • goog-dataplex-datascan-job-id
• Verificações de criação de perfil de dados:
  • O consumo de horas de DCU é proporcional ao processamento envolvido na criação de perfil dos dados e no cálculo das métricas de qualidade de dados. A cobrança é feita por segundo, com um mínimo de um minuto.
  • A cobrança depende do número de linhas, colunas, dados verificados, configurações de particionamento e de cluster na tabela e da frequência da verificação.
  • Há várias opções para reduzir o custo das verificações de perfil de dados:
    • Amostragem
    • Verificações incrementais
    • Filtragem de colunas
    • Filtragem de linhas
  • Para separar as cobranças de criação de perfil de dados das outras cobranças na SKU de processamento premium do Dataplex, no relatório de faturamento do Cloud, use o rótulo goog-dataplex-workload-type com o valor DATA_PROFILE.
  • Para filtrar cobranças agregadas, use os seguintes rótulos disponíveis na exportação de faturamento no BigQuery:
    • goog-dataplex-datascan-data-source-dataplex-entity
    • goog-dataplex-data-lake-dataplex-data-lake-data-source
    • goog-dataplex-datascan-data-source-dataplex-zone
    • goog-dataplex-datascan-data-source-project
    • goog-dataplex-datascan-data-source-region
    • goog-dataplex-datascan-id
    • goog-dataplex-datascan-job-id
• Linhagem de dados:
  • O consumo de horas de CUP é proporcional ao processamento envolvido para analisar a linhagem automaticamente.
  • Para separar as cobranças de linhagem de dados de outras cobranças na SKU de processamento premium do Dataplex, no relatório de Cobranças do Cloud, use o rótulo goog-dataplex-workload-type com o valor LINEAGE.
  • Se você chamar a API Data Lineage Origin sourceType com um valor diferente de CUSTOM, isso vai gerar custos adicionais.
• Bancada de trabalho de análise de dados:
  • O DCU-hora é calculado com base no consumo de computação da sessão.

Exemplo de preços de linhagem de dados

O usuário A ativa a linhagem de dados para acompanhar a linhagem do BigQuery no projeto. O projeto está no local us-central1. Em um mês, a linhagem de dados consome 100 horas de DCU de processamento do Dataplex Premium e gera 1 GiB de metadados de linhagem de dados. O custo é:

100 * $0.089           // 100 DCU-hours of Dataplex Premium processing billed at $0.089 per DCU-hr

+ (1GiB - 1MiB) * $2   // cost of storing 1GiB data lineage metadata excluding 1MiB of free storage per month
  ---
  = $10.9

Preços do armazenamento do embaralhamento do Dataplex Universal Catalog

Os preços do armazenamento de embaralhamento abrangem qualquer armazenamento em disco especificado nos ambientes configurados para o workbench de exploração de dados.

Preços do catálogo

Nesta seção, descrevemos os preços do catálogo universal e do Data Catalog. Para mais informações sobre as diferenças entre o catálogo universal e o Data Catalog, consulte Catálogo universal versus Data Catalog.

As cobranças do catálogo universal se aplicam ao armazenamento de metadados do catálogo universal, incluindo metadados armazenados para a linhagem de dados. Essas cobranças entram em vigor em 1º de agosto de 2024.

As cobranças do Data Catalog se aplicam ao armazenamento de metadados do Data Catalog e às chamadas de API feitas para a API Data Catalog.

As cobranças de armazenamento de metadados e chamadas de API são acumuladas diariamente. Confira o uso não faturado no Google Cloud console.

Preços de armazenamento de metadados

O Dataplex Universal Catalog usa a SKU de armazenamento de metadados para cobrar pelo armazenamento de metadados. O armazenamento de metadados é medido em gibibytes (GiB), sendo que 1 GiB é igual a 1.073.741.824 bytes. O Universal Catalog e o Data Catalog medem a quantidade média de metadados armazenados durante um curto intervalo de tempo. Para fins de faturamento, essas medidas são combinadas em uma média durante o período de um mês. Essa média é multiplicada pela taxa mensal.

Se você não paga em dólar americano, são aplicados os preços na sua moeda local listados na página SKUs do Cloud Platform.

Preços do armazenamento do catálogo universal

As cobranças pelo armazenamento de metadados, incluindo as de entradas e aspectos, são faturadas no projeto em que o respectivo recurso foi criado.

Quando um recurso no Data Catalog é disponibilizado simultaneamente no catálogo universal, você paga apenas por uma instância ativa desse recurso.

Preços de armazenamento do Data Catalog

Preços de API

Esta seção descreve os preços das APIs Data Catalog e Catalog universal.

Cobranças da API Universal Catalog

Quando os usuários interagem com o catálogo universal, as chamadas de API para o seguinte são gratuitas:

• Como criar e gerenciar recursos do catálogo universal
• Criar e gerenciar recursos de linhagem, exceto linhagens coletadas automaticamente
• Pesquisa no catálogo

Cobranças da API Data Catalog

As chamadas da API Data Catalog são faturadas conforme descrito na tabela a seguir:

Se você não paga em dólar americano, são aplicados os preços na sua moeda local listados na página SKUs do Cloud Platform.

Exemplos de preços do catálogo universal

Esta seção mostra exemplos de como calcular o custo do catálogo universal.

Aspectos pequenos

• O usuário A cria e aplica aspectos pequenos (1024 bytes cada). Por US $10 por mês, o usuário pode armazenar 5 GiB de metadados, o que corresponde aproximadamente a 5 milhões de aspectos. Considerando um aspecto por tabela, isso equivale a um total de 5 milhões de tabelas com aspectos.

• O usuário B cria 5 milhões de atributos de 1 KB cada no dia 10 do mês e os exclui no dia 20. O custo é de US $3,33, calculado como 5 GiB de dados divididos por um terço do mês:

5 GiB * $2
* 1/3
= $3.33

Aspectos grandes

• O usuário C cria e aplica aspectos grandes (10 KB cada). Por US $10 por mês, o usuário pode armazenar 5 GiB de metadados, o que corresponde a aproximadamente 500 mil aspectos. Considerando um aspecto por tabela, isso resulta em um total de 500 mil tabelas com aspectos.

• O usuário D cria 10 mil tipos de aspectos (por exemplo, ETL, governança de dados, qualidade de dados) e aplica aspectos grandes (10 KB cada) usando cada um dos 10 tipos de aspectos. Por US $10 por mês, o usuário pode armazenar 5 GiB de metadados, o que corresponde aproximadamente a 500 mil aspectos. Considerando 10 aspectos por tabela, isso equivale a um total de 50 mil tabelas com aspectos.

A seguir

• Leia a documentação do produto: Dataplex Universal Catalog, Data Catalog.
• Comece a usar o Dataplex Universal Catalog.
• Saiba mais sobre soluções e casos de uso do Catálogo universal do Dataplex.