Precios de Dataproc Serverless
Cada vCPU de Dataproc cuenta como 0,6 DCU. La RAM se factura de forma diferente por debajo y por encima de 8 GB. Cada gigabyte de RAM por debajo de 8 GB por vCPU cuenta como 0,1 DCU, y cada gigabyte de RAM por encima de 8 GB por vCPU cuenta como 0,2 DCU. La memoria utilizada por los controladores y ejecutores de Spark, así como el uso de la memoria del sistema, se contabilizan para el uso de DCU.
De forma predeterminada, cada carga de trabajo interactiva y por lotes de Dataproc Serverless para Spark consume un mínimo de 12 DCU: el controlador usa 4 vCPU y 16 GB de RAM, y consume 4 DCU; mientras que cada uno de los dos ejecutores usa 4 vCPU y 16 GB de RAM, y consume 4 DCU. Puede personalizar la cantidad de vCPU y la memoria por vCPU configurando las propiedades de Spark . No se aplican cargos adicionales por VM de Compute Engine ni por disco persistente.
Precios de la unidad de cómputo de datos (DCU)
La tarifa de DCU que se muestra a continuación es por hora. Se prorratea y se factura por segundo, con un cargo mínimo de 1 minuto.
La carga de trabajo interactiva Dataproc Serverless para Spark se cobra como Premium.
Precios de almacenamiento Shuffle
La tarifa de almacenamiento aleatorio que se muestra a continuación es mensual. Se prorratea y se factura por segundo, con un cargo mínimo de 1 minuto para el almacenamiento aleatorio estándar y de 5 minutos para el almacenamiento aleatorio premium. El almacenamiento aleatorio premium solo se puede usar con la Unidad de Cómputo Premium.
Precios del acelerador
La tarifa del acelerador que se muestra a continuación es por hora. Se prorratea y se factura por segundo, con un cargo mínimo de 5 minutos.
Ejemplo de precios
Si la carga de trabajo por lotes de Dataproc Serverless para Spark se ejecuta con 12 DCU ( spark.driver.cores=4 , spark.executor.cores=4 , spark.executor.instances=2 ) durante 24 horas en la región us-central1 y consume 25 GB de almacenamiento aleatorio, el cálculo del precio es el siguiente.
Total compute cost = 12 * 24 * $0.060000 = $17.28 Total storage cost = 25 * ($0.040/301) = $0.03 ------------------------------------------------ Total cost = $17.28 + $0.03 = $17.31
Notas:
- El ejemplo asume un mes de 30 días. Dado que la carga de trabajo por lotes dura un día, la tasa mensual de almacenamiento aleatorio se divide entre 30.
Si la carga de trabajo por lotes de Dataproc Serverless para Spark se ejecuta con 12 DCU y 2 GPU L4 ( spark.driver.cores=4 , spark.executor.cores=4 , spark.executor.instances= spark.executor.instances=2 , spark.dataproc.driver.compute.tier spark.dataproc.driver.compute.tier=premium , spark.dataproc.executor.compute.tier=premium , spark.dataproc.executor.disk.tier=premium , spark.dataproc.executor.resource.accelerator.type=l4 ) durante 24 horas en la región us-central1 y consume 25 GB de almacenamiento aleatorio, el cálculo del precio es el siguiente.
Total compute cost = 12 * 24 * $0.089000 = $25.632 Total storage cost = 25 * ($0.1/301) = $0.083 Total accelerator cost = 2 * 24 * $0.6720 = $48.39 ------------------------------------------------ Total cost = $25.632 + $0.083 + $48.39 = $74.105
Notas:
- El ejemplo asume un mes de 30 días. Dado que la carga de trabajo por lotes dura un día, la tasa mensual de almacenamiento aleatorio se divide entre 30.
Si la carga de trabajo interactiva Dataproc Serverless para Spark se ejecuta con 12 DCU ( spark.driver.cores=4 , spark.executor.cores=4 , spark.executor.instances=2 ) durante 24 horas en la región us-central1 y consume 25 GB de almacenamiento aleatorio, el cálculo del precio es el siguiente:
Total compute cost = 12 * 24 * $0.089000 = $25.632 Total storage cost = 25 * ($0.040/301) = $0.03 ------------------------------------------------ Total cost = $25.632 + $0.03 = $25.662
Notas:
- El ejemplo asume un mes de 30 días. Dado que la carga de trabajo por lotes dura un día, la tasa mensual de almacenamiento aleatorio se divide entre 30.
Ejemplo de estimación de precios
Al finalizar una carga de trabajo por lotes, Dataproc Serverless for Spark calcula UsageMetrics , que contiene una aproximación del total de recursos de almacenamiento DCU, acelerador y aleatorio consumidos por la carga de trabajo completada. Después de ejecutar una carga de trabajo, puede ejecutar el comando gcloud dataproc batches describe BATCH_ID para ver las métricas de uso de la carga de trabajo y así estimar su costo.
Ejemplo:
Dataproc Serverless para Spark ejecuta una carga de trabajo en un clúster efímero con un nodo maestro y dos trabajadores. Cada nodo consume 4 DCU (el valor predeterminado es 4 DCU por núcleo; consulte spark.dataproc.driver.disk.size ) y 400 GB de almacenamiento aleatorio (el valor predeterminado es 100 GB por núcleo; consulte spark.driver.cores ). El tiempo de ejecución de la carga de trabajo es de 60 segundos. Además, cada trabajador tiene 1 GPU, lo que suma un total de 2 en el clúster.
El usuario ejecuta gcloud dataproc batches describe BATCH_ID --region REGION para obtener métricas de uso. El resultado del comando incluye el siguiente fragmento ( milliDcuSeconds : 4 DCUs x 3 VMs x 60 seconds x 1000 = 720000 , milliAcceleratorSeconds : 1 GPU x 2 VMs x 60 seconds x 1000 = 120000 , y shuffleStorageGbSeconds : 400GB x 3 VMs x 60 seconds = 72000 ):
runtimeInfo:
approximateUsage:
milliDcuSeconds: '720000'
shuffleStorageGbSeconds: '72000'
milliAcceleratorSeconds: '120000'
Uso de otros recursos de Google Cloud
Su carga de trabajo de Dataproc Serverless para Spark puede utilizar opcionalmente los siguientes recursos, cada uno facturado a su propio precio, que incluyen, entre otros:
¿Qué sigue?
- Lea la documentación de Dataproc Serverless .
- Comience a utilizar Dataproc Serverless .
- Pruebe la calculadora de precios .