Preços do Dataplex Universal Catalog

Os preços do catálogo universal do Dataplex são baseados no uso de pagamento por uso. O Dataplex Universal Catalog cobra com base nas seguintes SKUs:

• Processamento do Dataplex Universal Catalog (padrão e premium)
• Armazenamento do embaralhamento do Dataplex Universal Catalog
• Armazenamento de metadados
• Chamadas da API Data Catalog

A seguir, apresentamos uma visão geral de alto nível de como cada recurso principal do Dataplex Universal Catalog é cobrado:

Além dessa cobrança, as chamadas da API Data Catalog são cobradas com base nas taxas da API Data Catalog.

Outro uso

Os recursos de organização de dados no Dataplex Universal Catalog (configuração de lake, zona ou recurso ) e a aplicação e propagação da política de segurança são fornecidos sem custo financeiro.

Além disso, algumas funcionalidades do Dataplex Universal Catalog (incluindo tarefas programadas de qualidade e ingestão de dados e conectores gerenciados do Dataplex Universal Catalog para ingerir metadados do CloudSQL e do Looker) acionam a execução de jobs usando o Google Cloud Serverless para Apache Spark, o BigQuery, o Dataflow e o Cloud Scheduler. Esses usos são cobrados de acordo com os modelos de preços do Dataproc, BigQuery, Dataflow e Cloud Scheduler, respectivamente, e as cobranças vão aparecer em Dataproc, BigQuery e Dataflow em vez de Dataplex Universal Catalog.

Preços do processamento do Dataplex Universal Catalog

O processamento padrão e premium do Dataplex Universal Catalog é medido pela Unidade de Computação de Dados (DCU). A DCU-hora é uma unidade de faturamento abstrata do Dataplex Universal Catalog, e a medição real depende dos recursos individuais que você usa.

Preços do processamento padrão do Dataplex Universal Catalog

O nível padrão do Dataplex Universal Catalog abrange a funcionalidade de descoberta de dados que descobre metadados nos dados gerenciados pelo Dataplex Universal Catalog. Confira os preços de acordo com a região de sua escolha.

Nível gratuito do Dataplex Universal Catalog

Como parte do Nível gratuito do Google Cloud, o Dataplex Universal Catalog oferece alguns recursos sem custo financeiro até limites específicos. Esses limites de uso gratuito estão disponíveis durante e após o período de avaliação gratuita. Se você ultrapassar esses limites de uso e não estiver mais no período de avaliação gratuita, será cobrado de acordo com os preços descritos nas seções acima.

Preços do processamento premium do Dataplex Universal Catalog

O nível de processamento premium do Dataplex abrange linhagem de dados, qualidade de dados, criação de perfil de dados e workbench de exploração de dados.

As cobranças do DCU para cada recurso são calculadas da seguinte forma:

• Verificações de qualidade de dados automática:
  • O consumo de horas de DCU é proporcional ao processamento envolvido na criação de perfis dos dados e no cálculo das métricas de qualidade dos dados. A cobrança é feita por segundo, com um mínimo de um minuto.
  • A cobrança depende do número de linhas, do número de colunas, da quantidade de dados verificada, da configuração da regra de qualidade de dados, das configurações de particionamento e clustering na tabela e da frequência da verificação.
  • Há várias opções para reduzir o custo das verificações de qualidade de dados automática:
    • Amostra
    • Verificações incrementais
  • Para separar as cobranças de qualidade de dados de outras cobranças na SKU de processamento premium do Dataplex, no relatório de faturamento do Cloud, use o rótulo goog-dataplex-workload-type com o valor DATA_QUALITY.
  • Para filtrar cobranças agregadas, use os seguintes rótulos disponíveis na exportação de faturamento no BigQuery:
    • goog-dataplex-datascan-data-source-dataplex-entity
    • goog-dataplex-datascan-data-source-dataplex-lake
    • goog-dataplex-datascan-data-source-dataplex-zone
    • goog-dataplex-datascan-data-source-project
    • goog-dataplex-datascan-data-source-region
    • goog-dataplex-datascan-id
    • goog-dataplex-datascan-job-id
• Verificações de criação de perfil de dados:
  • O consumo de horas de DCU é proporcional ao processamento envolvido na criação de perfis dos dados e no cálculo das métricas de qualidade dos dados. A cobrança é feita por segundo, com um mínimo de um minuto.
  • A cobrança depende do número de linhas, do número de colunas, da quantidade de dados verificados, das configurações de particionamento e clustering na tabela e da frequência da verificação.
  • Há várias opções para reduzir o custo das verificações de criação de perfil de dados:
    • Amostragem
    • Verificações incrementais
    • Filtragem de colunas
    • Filtragem de linhas
  • Para separar as cobranças de criação de perfis de dados de outras cobranças na SKU de processamento premium do Dataplex, no relatório do Cloud Billing, use o rótulo goog-dataplex-workload-type com o valor DATA_PROFILE.
  • Para filtrar cobranças agregadas, use os seguintes rótulos disponíveis na exportação de faturamento no BigQuery:
    • goog-dataplex-datascan-data-source-dataplex-entity
    • goog-dataplex-datascan-data-source-dataplex-lake
    • goog-dataplex-datascan-data-source-dataplex-zone
    • goog-dataplex-datascan-data-source-project
    • goog-dataplex-datascan-data-source-region
    • goog-dataplex-datascan-id
    • goog-dataplex-datascan-job-id
• Linhagem de dados:
  • O consumo de horas de DCU é proporcional ao processamento envolvido na análise automática da linhagem.
  • Para separar as cobranças de linhagem de dados de outras cobranças na SKU de processamento premium do Dataplex, no relatório do Cloud Billing, use o rótulo goog-dataplex-workload-type com o valor LINEAGE.
  • Se você chamar a API Data Lineage Origin sourceType com um valor diferente de CUSTOM, isso vai gerar custos adicionais.
• Workbench de análise detalhada dos dados:
  • A hora de DCU é calculada com base no consumo de computação da sessão.

Exemplo de preço da linhagem de dados

O Usuário A ativa a linhagem de dados para rastrear a linhagem do BigQuery no projeto. O projeto está no local us-central1. Durante um mês, a linhagem de dados consome 100 horas de DCU de processamento Premium do Dataplex e gera 1 GiB de metadados de linhagem de dados. O custo é:

100 * $0.089           // 100 DCU-hours of Dataplex Premium processing billed at $0.089 per DCU-hr

+ (1GiB - 1MiB) * $2   // cost of storing 1GiB data lineage metadata excluding 1MiB of free storage per month
  ---
  = $10.9

Preços do armazenamento do embaralhamento do Dataplex Universal Catalog

Os preços do armazenamento de embaralhamento abrangem qualquer armazenamento em disco especificado nos ambientes configurados para o workbench de exploração de dados.

Preços do catálogo

Nesta seção, descrevemos os preços dos recursos de gerenciamento de catálogos no Dataplex Universal Catalog e no Data Catalog. Para mais informações sobre as diferenças entre o Dataplex Universal Catalog e o Data Catalog, consulte Dataplex Universal Catalog versus Data Catalog.

As cobranças do Dataplex Universal Catalog se aplicam ao armazenamento de metadados do Dataplex Universal Catalog, incluindo os metadados armazenados para linhagem de dados. Essas cobranças entram em vigor em 1º de agosto de 2024.

As cobranças do Data Catalog se aplicam ao armazenamento de metadados do Data Catalog e às chamadas de API feitas para a API Data Catalog.

As cobranças de armazenamento de metadados e chamadas de API são acumuladas diariamente. Você pode conferir o uso não faturado no Console de APIs do Google.

Preços de armazenamento de metadados

O Dataplex Universal Catalog usa a SKU de armazenamento de metadados para cobrar pelo armazenamento de metadados. O armazenamento de metadados é medido em gibibytes (GiB), sendo que 1 GiB é igual a 1.073.741.824 bytes. O Dataplex Universal Catalog e o Data Catalog medem a quantidade média de metadados armazenados durante um curto intervalo de tempo. Para fins de faturamento, essas medidas são combinadas em uma média durante o período de um mês. Essa média é multiplicada pela taxa mensal.

Se você não paga em dólar americano, são aplicados os preços na sua moeda local listados na página SKUs do Cloud Platform.

Preços do armazenamento do Dataplex Universal Catalog

As cobranças de armazenamento de metadados (incluindo as de entradas e aspectos) são faturadas no projeto em que o recurso respectivo foi criado.

Quando um recurso do Data Catalog é disponibilizado simultaneamente no Dataplex Universal Catalog, você só paga por uma instância ativa desse recurso.

Preços de armazenamento do Data Catalog

Preços de API

Nesta seção, descrevemos os preços das APIs Dataplex Universal Catalog e Data Catalog.

Cobranças da API Dataplex Universal Catalog

Quando os usuários interagem com o Dataplex Universal Catalog, as chamadas de API para o seguinte são gratuitas:

• Como criar e gerenciar recursos de catálogo
• Criação e gerenciamento de recursos de linhagem, exceto linhagem coletada automaticamente
• Pesquisa no catálogo

Cobranças da API Data Catalog

As chamadas da API Data Catalog são cobradas conforme descrito na tabela a seguir:

Se você não paga em dólar americano, são aplicados os preços na sua moeda local listados na página SKUs do Cloud Platform.

Exemplos de preços do Dataplex Universal Catalog

Nesta seção, apresentamos exemplos de como calcular o custo do Dataplex Universal Catalog.

Pequenos aspectos

• O usuário A cria e aplica aspectos pequenos (1.024 bytes cada). Por US $10 por mês, o usuário pode armazenar 5 GiB de metadados, o que corresponde aproximadamente a 5 milhões de aspectos. Considerando um aspecto por tabela, isso equivale a um total de 5 milhões de tabelas com aspectos.

• O usuário B cria 5 milhões de aspectos de 1 KB cada no dia 10 do mês e exclui os aspectos no dia 20. O custo é de US $3,33, calculado como 5 GiB de dados divididos por um terço do mês:

5 GiB * $2
* 1/3
= $3.33

Aspectos gerais

• O usuário C cria e aplica aspectos grandes (10 KB cada). Por US $10 por mês, o usuário pode armazenar 5 GiB de metadados, o que corresponde a aproximadamente 500 mil aspectos. Considerando um aspecto por tabela, isso equivale a um total de 500 mil tabelas com aspectos.

• O usuário D cria 10 mil tipos de aspectos (por exemplo, ETL, governança de dados, qualidade de dados) e aplica aspectos grandes (10 KB cada) usando cada um dos 10 tipos de aspectos. Por US $10 por mês, o usuário pode armazenar 5 GiB de metadados, o que corresponde a aproximadamente 500 mil aspectos. Considerando 10 aspectos por tabela, isso equivale a um total de 50 mil tabelas com aspectos.

A seguir

• Leia a documentação do produto: Dataplex Universal Catalog, Data Catalog.
• Comece a usar o Dataplex Universal Catalog.
• Saiba mais sobre soluções e casos de uso do Dataplex Universal Catalog.