Preços do Dataflow

Nesta página estão os preços do Dataflow. Para saber os preços de outros produtos, leia a documentação de preços.

Para saber como economizar 40% com um compromisso de três anos ou 20% com um compromisso de um ano, confira nossa página de descontos por compromisso de uso (CUDs).

Visão geral

O uso do Dataflow é cobrado pelos recursos que seus jobs usam. Dependendo do modelo de preços que você usa, os recursos são medidos e cobrados de forma diferente.

Recursos de computação do Dataflow	Recursos de computação do Dataflow Prime
CPU e memória do worker (em lote, streaming e FlexRS) Dados processados do Dataflow Shuffle (lote e FlexRS) Unidades de computação do Streaming Engine ou dados processados do Streaming Engine legados (somente streaming)	Unidades de computação de dados (DCUs) (em lote e streaming)

Outros recursos do Dataflow faturados para todos os jobs incluem Persistent Disk, GPUs e snapshots.

Recursos de outros serviços podem ser usados no job do Dataflow. Os serviços usados com o Dataflow podem incluir BigQuery, Pub/Sub, Cloud Storage e Cloud Logging, entre outros.

Embora a taxa de preços seja por hora, o uso do Dataflow será cobrado em incrementos por segundo para cada job. O uso é apresentado em horas para aplicar o preço por hora ao uso de segundo a segundo. Por exemplo, 30 minutos são 0,5 hora. Os workers e jobs podem consumir recursos conforme descrito nas seções a seguir.

As próximas versões do Dataflow poderão ter taxas de serviço diferentes e/ou o agrupamento de serviços relacionados.

Recursos de computação do Dataflow

O faturamento do Dataflow para recursos de computação inclui os seguintes componentes:

• CPU e memória do worker
• Dados do Dataflow Shuffle processados para cargas de trabalho em lote
• Unidades de computação do Streaming Engine
• Dados processados do Streaming Engine

Para mais informações sobre as regiões disponíveis e as respectivas zonas, consulte a página Regiões e zonas do Compute Engine.

CPU e memória do worker

Cada job do Dataflow usa pelo menos um worker do Dataflow. Há dois tipos deles: em lote e por streaming, Os workers em lote e por streaming têm taxas de serviço separadas.

Os workers do Dataflow consomem os recursos a seguir, todos cobrados por segundo:

• CPU
• Memória

Os workers em lote e por streaming são recursos especializados que utilizam o Compute Engine. No entanto, um job do Dataflow não gera cobranças relacionadas aos recursos do Compute Engine gerenciados pelo serviço do Dataflow. Na verdade, as taxas de serviço do Dataflow incluem o uso desses recursos.

É possível modificar a contagem de workers padrão de um job. Se você estiver usando o escalonamento automático, especifique o número máximo de workers a serem alocados para um job. Os workers e os respectivos recursos são adicionados e removidos automaticamente com base na atuação do escalonamento automático.

Além disso, é possível usar as opções de pipeline para modificar as configurações de recursos padrão, como tipo de máquina, tipo de disco e tamanho do disco, que são alocados a cada worker e que usam GPUs.

FlexRS

O Dataflow também oferece uma opção de preço com desconto para CPU e memória no processamento em lote. O Flexible Resource Scheduling (FlexRS) combina VMs preemptivas e comuns em um único pool de workers do Dataflow. Isso oferece aos usuários acesso a recursos de processamento mais baratos. O FlexRS também atrasa a execução de um job em lote do Dataflow em uma janela de seis horas para identificar o melhor momento para iniciar o job com base nos recursos disponíveis.

Embora o Dataflow use uma combinação de workers para executar um job do FlexRS, será faturada uma taxa de desconto uniforme de cerca de 40% no custo de CPU e memória em comparação com os preços normais do Dataflow, seja qual for o tipo de worker. Especifique o parâmetro do FlexRS para instruir o Dataflow a usar o FlexRS nos pipelines de lote com escalonamento automático.

Dados processados do Dataflow Shuffle

Para pipelines em lote, o Dataflow oferece um recurso altamente escalonável, o Dataflow Shuffle, que embaralha os dados fora dos workers. Para mais informações, consulte Dataflow Shuffle.

O Dataflow Shuffle é cobrado pelo volume de dados processados durante o embaralhamento.

Preços do Streaming Engine

Para pipelines de streaming, o Dataflow Streaming Engine move o embaralhamento de streaming e o processamento de estado das VMs de worker para o back-end do serviço do Dataflow. Para mais informações, consulte Streaming Engine.

Unidades de computação do Streaming Engine

Com o faturamento baseado em recursos, os recursos do Streaming Engine são medidos em unidades de computação do Streaming Engine. O Dataflow mede os recursos do Streaming Engine que cada job usa e depois fatura com base no total de recursos usados por esse job. Para ativar o faturamento baseado em recursos para seu job, consulte Usar o faturamento baseado em recursos. Quando você usa o faturamento baseado em recursos, os descontos atuais são aplicados automaticamente.

Quando você usa o Dataflow Prime com faturamento baseado em recursos, a cobrança é feita com base no total de recursos que cada job usa, mas a SKU da Unidade de computação de dados (DCU) é usada em vez da SKU da Unidade de computação do Streaming Engine.

Dados processados do Streaming Engine (legado)

O Dataflow continua a oferecer suporte ao faturamento de dados processados legados. A menos que você ative o faturamento baseado em recursos, os jobs serão cobrados pelo faturamento de dados processados.

O faturamento de dados processados do Streaming Engine mede o uso pelo volume de dados de streaming processados, que depende dos seguintes fatores:

• O volume de dados ingeridos no pipeline de streaming
• A complexidade do pipeline
• O número de estágios de pipeline com operação de embaralhamento ou com DoFns com estado

Exemplos do que conta como um byte processado:

• Fluxos de entrada de fontes de dados
• Fluxos de dados de um estágio de pipeline fundido para outro estágio fundido
• Fluxos de dados persistidos no estado definido pelo usuário ou usados para janelas
• Mensagens de saída para coletores de dados, como Pub/Sub ou BigQuery

Preços dos recursos de computação do Dataflow: lote e FlexRS

A tabela a seguir contém detalhes de preços para recursos de worker e dados de Shuffle processados para jobs em lote e FlexRS.

¹ Padrões do worker em lote: 1 vCPU, 3,75 GB de memória, disco permanente de 250 GB se o Dataflow Shuffle não for usado, disco permanente de 25 GB se o Dataflow Shuffle for usado

² Padrões do worker no FlexRS: 2 vCPUs, 7,50 GB de memória, disco permanente de 25 GB por worker, com um mínimo de dois workers

Preços dos recursos de computação do Dataflow – streaming

A tabela a seguir contém detalhes de preços para recursos de worker, dados processados do Streaming Engine (legado) e unidades de computação do Streaming Engine para jobs de streaming.

Se você não paga em dólar americano, são aplicados os preços na sua moeda local listados na página SKUs do Cloud Platform.

³ Padrões do worker no streaming: 4 vCPUs, 15 GB de memória, disco permanente de 400 GB se o Streaming Engine não for usado, disco permanente de 30 GB se o Streaming Engine for usado. O serviço do Dataflow está limitado atualmente a 15 discos permanentes por instância de worker na execução de um job de streaming. A proporção de 1:1 entre workers e discos é a cota mínima de recursos.

⁴ Os preços do Dataflow Shuffle são baseados nos ajustes de volume aplicados à quantidade de dados processados durante operações de leitura e gravação no embaralhamento do seu conjunto de dados. Para mais informações, consulte detalhes de preços do Dataflow Shuffle. O preço do Dataflow Shuffle não se aplica a jobs do Streaming Engine que usam faturamento baseado em recursos.

⁵ Unidades de computação do Streaming Engine: para jobs de streaming que usam o Streaming Engine e o modelo de faturamento baseado em recursos. Esses jobs não são cobrados pelos dados processados durante o embaralhamento.

Ajustes de volume para dados processados do Dataflow Shuffle

As cobranças são calculadas por cada job do Dataflow, por meio de ajustes de volume aplicados ao total de dados processados durante as operações do Dataflow Shuffle. O faturamento real dos dados processados no Dataflow Shuffle equivale ao preço total cobrado por uma quantidade menor de dados, e não ao total processado por um job do Dataflow. Essa diferença resulta em uma métrica de dados de embaralhamento faturáveis processados menor do que a métrica de dados de embaralhamento totais processados.

Na tabela a seguir, explicamos como esses ajustes são aplicados:

Dados do Dataflow Shuffle processados	Ajuste de serviço
Primeiros 250 GB	Redução de 75%
Próximos 4.870 GB	Redução de 50%
Dados restantes em 5.120 GB (5 TB)	nenhum

Por exemplo, se o pipeline resultar em 1.024 GB (1 TB) de dados processados totais do Dataflow Shuffle, o valor faturável é calculado da seguinte forma:

250 GB * 25% + 774 GB * 50% = 449.5 GB * regional Dataflow Shuffle data processing rate

Se o pipeline resultar em 10.240 GB (10 TB) de dados processados totais do Dataflow Shuffle, o valor faturável de dados será:

250 GB * 25% + 4870 GB * 50% + 5120 GB = 7617.5 GB

Preços dos recursos de computação do Dataflow Prime

O Dataflow Prime é uma plataforma de processamento de dados que se baseia no Dataflow e traz melhorias na utilização de recursos e no diagnóstico distribuído.

Os recursos de computação usados por um job do Dataflow Prime são cobrados pelo número de unidades de computação de dados (DCUs). As DCUs representam os recursos de computação alocados para executar o pipeline. Outros recursos do Dataflow usados pelos jobs do Dataflow Prime, como Persistent Disk, GPUs e snapshots, são faturados separadamente.

Para mais informações sobre as regiões disponíveis e as respectivas zonas, consulte a página Regiões e zonas do Compute Engine.

Unidade de computação de dados

Uma unidade de computação de dados (DCU, na sigla em inglês) é uma métrica do Dataflow que rastreia a quantidade de recursos de computação consumidos pelos jobs. Os recursos rastreados pelas DCUs incluem vCPU, memória, dados do Dataflow Shuffle processados (para jobs em lote) e dados do Streaming Engine processados (para jobs de streaming). Jobs que consomem mais recursos têm mais uso de DCU em comparação com jobs que consomem menos recursos. Um DCU é comparável aos recursos usados por um job do Dataflow executado por uma hora em um worker de 1 vCPU e 4 GB.

Faturamento da unidade de computação de dados

Você é cobrado pelo número total de DCUs consumidas pelo job. O preço de uma única DCU varia de acordo com o tipo de job: lote ou streaming. Quando você usa o Dataflow Prime com o faturamento baseado em recursos, a cobrança é feita com base no total de recursos usados, em vez de bytes processados.

Se você não paga em dólar americano, são aplicados os preços na sua moeda local listados na página SKUs do Cloud Platform.

Otimizar o uso da unidade de computação de dados

Não é possível definir o número de DCUs dos jobs. As DCUs são contadas pelo Dataflow Prime. No entanto, você pode reduzir o número de DCUs consumidas gerenciando os seguintes aspectos do job:

• Reduzir o consumo de memória
• Como reduzir a quantidade de dados processados em etapas de embaralhamento usando filtros, combinadores e codificadores eficientes

Para identificar essas otimizações, use a interface de monitoramento do Dataflow e a interface de detalhes de execução.

Qual é a diferença entre os preços do Dataflow Prime e do Dataflow?

No Dataflow, a cobrança é feita pelos diferentes recursos que seus jobs consomem, como vCPUs, memória, Persistent Disk e a quantidade de dados processados pelo Dataflow Shuffle ou pelo Streaming Engine.

As unidades de computação de dados consolidam todos os recursos, exceto o armazenamento, em uma única unidade de medição. Você recebe cobranças pelos recursos de Persistent Disk e pelo número de DCUs consumidas com base no tipo de job, em lote ou streaming. Para mais informações, consulte Como usar o Dataflow Prime.

O que acontece com os jobs atuais que usam o modelo de preços do Dataflow?

Os jobs em lote e de streaming atuais continuarão a ser faturados pelo modelo do Dataflow. Quando você atualiza seus jobs para usar o Dataflow Prime, eles passam a usar o modelo de preços do Dataflow Prime, em que são cobrados pelos recursos de Persistent Disk e pelas DCUs consumidas.

Outros recursos do Dataflow

O armazenamento, as GPUs, os snapshots e outros recursos são faturados da mesma forma no Dataflow e no Dataflow Prime.

Preços dos recursos de armazenamento

Os recursos de armazenamento são faturados com a mesma taxa para jobs de streaming, lote e FlexRS. Você pode usar as opções de pipeline para mudar o tamanho ou o tipo de disco padrão. O Dataflow Prime cobra o Persistent Disk separadamente com base nos preços da tabela a seguir.

Se você não paga em dólar americano, são aplicados os preços na sua moeda local listados na página SKUs do Cloud Platform.

O serviço do Dataflow está limitado atualmente a 15 discos permanentes por instância de worker na execução de um job de streaming. Cada disco permanente é local em relação a uma máquina virtual individual do Compute Engine. A proporção de 1:1 entre workers e discos é a cota mínima de recursos.

Os jobs que usam o Streaming Engine usam discos de inicialização de 30 GB. Os jobs que usam o Dataflow Shuffle usam discos de inicialização de 25 GB. Para jobs que não usam essas ofertas, o tamanho padrão de cada disco permanente é 250 GB no modo de lote e 400 GB no modo de streaming.

O uso do Compute Engine é baseado no número médio de workers e o uso de Persistent Disk é baseado no valor exato de --maxNumWorkers. Os discos permanentes são redistribuídos de modo que cada worker tenha um número igual de discos anexados.

Preços de recursos de GPU

Os recursos de GPU são faturados com a mesma taxa para jobs de streaming e em lote. A FlexRS não oferece suporte a GPUs no momento. Para informações sobre regiões e zonas disponíveis para GPUs, consulte Disponibilidade de regiões e zonas de GPU na documentação do Compute Engine.

Se você não paga em dólar americano, são aplicados os preços na sua moeda local listados na página SKUs do Cloud Platform.

Snapshots

Para ajudar a gerenciar a confiabilidade dos pipelines de streaming, você pode usar snapshots para salvar e restaurar o estado do pipeline. O uso do snapshot é cobrado pelo volume dos dados armazenados, que dependem dos seguintes fatores:

• O volume de dados ingeridos no pipeline de streaming
• Sua lógica de janelas
• O número de estágios do pipeline

É possível capturar um snapshot do job de streaming usando o console do Dataflow ou a Google Cloud CLI. Não há custo extra para criar um job a partir do snapshot para restaurar o estado do pipeline. Para mais informações, consulte Como usar snapshots do Dataflow.

Preços de snapshots

Se você não paga em dólar americano, são aplicados os preços na sua moeda local listados na página SKUs do Cloud Platform.

VM confidencial

A VM confidencial para Dataflow criptografa dados em uso em VMs de worker do Compute Engine. Para mais detalhes, consulte Visão geral de VMs confidenciais.

O uso de VMs confidenciais no Dataflow gera custos fixos adicionais por vCPU e por GB.

Preços da VM confidencial

Os preços são globais e não mudam com base na Google Cloud região.