Os preços do Dataproc no Compute Engine
são baseados no tamanho dos clusters do Dataproc e no tempo
em que eles são executados. O tamanho de um cluster é baseado no número agregado de
CPUs virtuais (vCPUs)
em todo o cluster, incluindo os nós de trabalho e mestres. A duração de um cluster é o tempo entre a criação e a exclusão dele.
Os preços do Dataproc são calculados desta forma: $0.010 * # of vCPUs * hourly duration.
A fórmula de custo usa uma taxa por hora,
mas na verdade o Dataproc é faturado por segundo, e todos os
clusters desse serviço são cobrados em incrementos de um segundo sujeitos ao faturamento
mínimo de um minuto. Para aplicar o preço por hora ao uso de segundo a segundo, o uso é calculado em frações de hora. Por exemplo, 30 minutos são mostrados como 0,5 hora.
As seguintes operações e cenários do Dataproc geram cobranças:
Escalonamento e
escalonamento automático:
quando as VMs são adicionadas ao cluster, as cobranças são acumuladas enquanto as VMs estão
ativas. Essas cobranças acumuladas continuam até que as VMs sejam removidas.
Clusters em estado de erro: quando um cluster do Dataproc está em um
estado de erro, as VMs do cluster permanecem ativas e as cobranças continuam a ser acumuladas.
Essas cobranças acumuladas continuam até que o cluster seja excluído.
Exemplo de preço
Como exemplo, pense em um cluster (com nós mestre e de trabalho) que tenha
a configuração a seguir:
Item
Tipo de máquina
CPUs virtuais
Disco permanente anexado
Número no cluster
Nó mestre
n1-standard-4
4
500 GB
1
Nós de trabalho
n1-standard-4
4
500 GB
5
Esse cluster do Dataproc tem 24 CPUs virtuais, quatro para o nó mestre e
20 distribuídas pelos nós de trabalho. Para fins de faturamento do Dataproc,
o preço desse cluster teria como base as 24 CPUs virtuais e o
tempo em que o cluster permaneceu em execução, pressupondo que nenhum nó seja interrompido ou
tenha o escalonamento reduzido. Se o cluster for executado por duas horas,
o preço do Dataproc usará esta fórmula:
Nesse exemplo, além do custo do Dataproc, o cluster gera cobranças relacionadas ao Compute Engine e ao espaço provisionado do disco permanente padrão (confira Uso de outros Google Cloud recursos).
A calculadora de faturamento
pode ser usada para determinar os custos dos outros Google Cloud recursos.
Uso de outros recursos do Google Cloud
Como uma solução gerenciada e integrada, o Dataproc é construído sobre outras tecnologias do Google Could. Os clusters do Dataproc consomem os recursos a seguir, sendo cada um deles faturado conforme a determinação de preços:
Compute Engine: todas as instâncias do Compute Engine em um cluster do Dataproc têm um tempo mínimo de um minuto. Elas são faturadas com base em incrementos de faturamento por segundo e nas regras de preços para uso prolongado.
Se quiser, os clusters do Dataproc podem utilizar os recursos a seguir, sendo cada um deles faturado conforme a determinação de preços, incluindo sem limitação:
Esta seção explica as cobranças que se aplicam apenas ao cluster virtual do
Dataproc executado em um GKE gerenciado pelo usuário.
Consulte os preços do GKE
para saber mais sobre as cobranças adicionais que se aplicam ao cluster do GKE
gerenciado pelo usuário.
A fórmula de preços do Dataproc no GKE
($0.010 * # of vCPUs * hourly duration) é a mesma da fórmula de preços do
Dataproc no Compute Engine e
é aplicada ao número agregado de CPUs virtuais em execução em instâncias de VM em
pools de nós criados pelo Dataproc
no cluster. A duração de uma instância de máquina virtual é o período de tempo
entre a criação e a exclusão. Assim como o Dataproc no Compute Engine,
o Dataproc no GKE é cobrado por segundo, sujeito a um faturamento mínimo de 1 minuto
por instância de máquina virtual. Outras Google Cloud cobranças
são aplicadas além das cobranças do Dataproc.
Os pools de nós criados pelo Dataproc continuam existindo após a exclusão do
cluster do Dataproc, porque podem ser compartilhados por vários clusters. Se você
excluir os pools de nós ou
reduzir os pools de nós
a zero instância, não haverá mais cobranças do Dataproc. As VMs restantes do pool de nós vão continuar gerando cobranças
até que sejam excluídas.
Com o sistema de pagamento por uso do Google Cloud, você paga apenas pelos serviços que
usa. Entre em contato com nossa equipe de vendas e receba uma cotação personalizada para sua organização.
[[["Fácil de entender","easyToUnderstand","thumb-up"],["Meu problema foi resolvido","solvedMyProblem","thumb-up"],["Outro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Informações incorretas ou exemplo de código","incorrectInformationOrSampleCode","thumb-down"],["Não contém as informações/amostras de que eu preciso","missingTheInformationSamplesINeed","thumb-down"],["Problema na tradução","translationIssue","thumb-down"],["Outro","otherDown","thumb-down"]],[],[[["\u003cp\u003eDataproc pricing is calculated based on the total number of virtual CPUs (vCPUs) in the cluster and the duration of cluster usage, with a formula of \u003ccode\u003e$0.010 * # of vCPUs * hourly duration\u003c/code\u003e.\u003c/p\u003e\n"],["\u003cp\u003eDataproc billing is done per-second, with a 1-minute minimum, and usage is expressed in fractional hours to apply hourly rates to second-by-second use.\u003c/p\u003e\n"],["\u003cp\u003eIn addition to Dataproc charges, users will also be billed for Compute Engine resources and other Google Cloud services like Persistent Disk and Monitoring that are utilized by Dataproc clusters.\u003c/p\u003e\n"],["\u003cp\u003eDataproc on GKE has the same pricing formula as Dataproc on Compute Engine and the pricing is applied to the aggregate number of vCPUs, but it also includes additional charges for the user-managed GKE cluster.\u003c/p\u003e\n"],["\u003cp\u003eThere are separate charges for Dataproc serverless and the information is available in the Dataproc Serverless Pricing page.\u003c/p\u003e\n"]]],[],null,["Dataproc pricing \n\u003cbr /\u003e\n\nDataproc \\| [Serverless for Apache Spark](/dataproc-serverless/pricing \"View this page for Serverless for Apache Spark\") \\| [Dataproc Metastore](/dataproc-metastore/pricing \"View this page for Dataproc Metastore\")\n\n\u003cbr /\u003e\n\n- [Dataproc on Compute Engine pricing](#on_pricing)\n- [Dataproc on GKE pricing](#on_gke_pricing)\n- [Serverless for Apache Spark pricing](#serverless_pricing)\n\nDataproc on Compute Engine pricing\n\n[Dataproc on Compute Engine](/dataproc)\npricing is based on the size of Dataproc clusters and the duration\nof time that they run. The size of a cluster is based on the aggregate number of\n[virtual CPUs (vCPUs)](/compute/docs/machine-types)\nacross the entire cluster, including the master and worker nodes. The duration\nof a cluster is the length of time between cluster creation and cluster stopping\nor deletion.\n\nThe Dataproc pricing formula is: `$0.010 * # of vCPUs * hourly duration`.\n\nAlthough the pricing formula is expressed as an hourly rate,\nDataproc is billed by the second, and all Dataproc\nclusters are billed in one-second clock-time increments, subject to a 1-minute\nminimum billing. Usage is stated in fractional hours (for example, 30 minutes\nis expressed as 0.5 hours) in order to apply hourly pricing to second-by-second\nuse.\n\nDataproc pricing is in addition to the\n[Compute Engine per-instance price](/compute/pricing) for each virtual machine\n(see [Use of other Google Cloud resources](#use_of_other_google_cloud_resources)).\n| [Preemptible secondary VMs](/compute/docs/instances/preemptible). can be used to lower your Compute Engine costs for Dataproc clusters.\n| **Note:** See [Supported machine types](/dataproc/docs/concepts/compute/supported-machine-types) for information on the predefined and custom machine types you can use in Dataproc clusters.\n\nAccrued Charges\n\nThe following Dataproc operations and scenarios cause charges to\naccrue:\n\n- [**Scaling**](/dataproc/docs/concepts/configuring-clusters/scaling-clusters) and\n [**autoscaling**](/dataproc/docs/concepts/configuring-clusters/autoscaling):\n When VMs are added to the cluster, charges accrue while the VMs are\n active. These accrued charges continue until the VMs are removed.\n\n- **Clusters in an Error state**: When a Dataproc cluster is in an\n error state, cluster VMs remain active and charges continue to accrue.\n These accrued charges continue until the cluster is deleted.\n\nPricing example\n\nAs an example, consider a cluster (with master and worker nodes) that has\nthe following configuration:\n\n| Item | Machine Type | Virtual CPUs | Attached persistent disk | Number in cluster |\n|--------------|---------------|--------------|--------------------------|-------------------|\n| Master Node | n1-standard-4 | 4 | 500 GB | 1 |\n| Worker Nodes | n1-standard-4 | 4 | 500 GB | 5 |\n\nThis Dataproc cluster has 24 virtual CPUs, 4 for the master and\n20 spread across the workers. For Dataproc billing purposes,\nthe pricing for this cluster would be based on those 24 virtual CPUs and the\nlength of time the cluster ran (assuming no nodes are scaled down or\npreempted). If the cluster runs for 2 hours,\nthe Dataproc pricing would use the following formula:\n\n`Dataproc charge = # of vCPUs * hours * Dataproc price = 24 * 2 * $0.01 = $0.48`\n\nIn this example, the cluster would also incur charges for Compute Engine\nand Standard Persistent Disk Provisioned Space in addition to the\nDataproc charge (see\n[Use of other Google Cloud resources](#use_of_other_google_cloud_resources)).\nThe [billing calculator](/products/calculator)\ncan be used to determine separate Google Cloud resource costs.\n\nUse of other Google Cloud resources\n\nAs a managed and integrated solution, Dataproc is built on top of other\nGoogle Cloud technologies. Dataproc clusters consume the following\nresources, each billed at its own pricing:\n\n- [Compute Engine](/compute)---All Compute Engine instances for a Dataproc cluster have a 1-minute clock-time minimum, and are billed based on per-second billing increments and [sustained use price rules](/compute/docs/sustained-use-discounts).\n- [Standard Persistent Disk](/compute/docs/disks#pdspecs) provisioned space\n- [Cloud Monitoring](/monitoring)---see [Google Cloud Observability Pricing](/stackdriver/pricing)\n\nDataproc clusters can optionally utilize the following resources, each\nbilled at its own pricing, including but not limited to:\n\n- [Cloud Storage](/storage)\n- [Global Networking](/products/networking)\n- [BigQuery](/bigquery)\n- [Bigtable](/bigtable)\n\nDataproc on GKE pricing\n\nThis section explains the charges that apply only to the virtual\nDataproc cluster that runs on a user-managed GKE.\nSee [GKE pricing](/kubernetes-engine/pricing)\nto learn about the added charges that apply to the user-managed GKE\ncluster.\n\nThe [Dataproc on GKE](/dataproc/docs/guides/dpgke/dataproc-gke-overview) pricing\nformula, `$0.010 * # of vCPUs * hourly duration`, is the same as the\n[Dataproc on Compute Engine](#on_pricing) pricing formula, and\nis applied to the aggregate number of virtual CPUs running in VMs instances in\n[Dataproc-created node pools](/dataproc/docs/guides/dpgke/dataproc-gke-nodepools)\nin the cluster. The duration of a virtual machine instance is the length of time\nfrom its creation to its deletion. As with Dataproc on Compute Engine,\nDataproc on GKE is billed by the second, subject to a 1-minute minimum billing\nper virtual machine instance. [Other Google Cloud charges](#use_of_other_google_cloud_resources)\nare applied in addition to Dataproc charges.\n\nDataproc-created node pools continue to exist after deletion of the\nDataproc cluster since they may be shared by multiple clusters. If you\n[delete the node pools](/kubernetes-engine/docs/how-to/node-pools#deleting_a_node_pool) or\n[scale node pools](/kubernetes-engine/docs/how-to/node-pools#resizing_a_node_pool)\ndown to zero instances, continued Dataproc charges will not be\nincurred. **Any remaining node pool VMs will continue to incur charges\nuntil you delete them.**\n\nServerless for Apache Spark pricing\n\nSee [Serverless for Apache Spark pricing](/dataproc-serverless/pricing).\n\nWhat's next\n\n- Read the [Dataproc documentation](/dataproc/docs).\n- Get started with [Dataproc](/dataproc/docs/quickstarts).\n- Try the [Pricing calculator](/products/calculator).\n- Learn about [Dataproc solutions and use cases](/architecture?text=Dataproc).\n\nRequest a custom quote \nWith Google Cloud's pay-as-you-go pricing, you only pay for the services you use. Connect with our sales team to get a custom quote for your organization.\n[Contact sales](/contact?direct=true)"]]