Prezzi di Dataproc Serverless
Ogni vCPU Dataproc vale 0,6 DCU. La RAM viene tariffata in modo diverso al di sotto e al di sopra degli 8 GB. Ogni gigabyte di RAM inferiore a 8 GB per vCPU vale 0,1 DCU e ogni gigabyte di RAM superiore a 8 GB per vCPU vale 0,2 DCU. La memoria utilizzata dai driver e dagli executor Spark e l'utilizzo della memoria di sistema vengono conteggiati nell'utilizzo del DCU.
Per impostazione predefinita, ogni carico di lavoro interattivo e in batch di Dataproc Serverless per Spark consuma un minimo di 12 DCU per la durata del carico di lavoro: il driver utilizza 4 vCPU e 16 GB di RAM e consuma 4 DCU, mentre ciascuno dei 2 executor utilizza 4 vCPU e 16 GB di RAM e consuma 4 DCU. Puoi personalizzare il numero di vCPU e la quantità di memoria per vCPU impostando le proprietà Spark. Non si applicano costi aggiuntivi per le VM di Compute Engine o per i dischi fissi.
Prezzi di Data Compute Unit (DCU)
La tariffa DCU indicata di seguito è un importo orario. Viene ripartito e fatturato al secondo, con un addebito minimo di 1 minuto.
Il costo del carico di lavoro interattivo di Dataproc Serverless per Spark è calcolato in base al livello Premium.
Prezzi per lo spazio di archiviazione per shuffling
La tariffa per lo spazio di archiviazione per Shuffle indicata di seguito è una tariffa mensile. Viene proporzionato e fatturato al secondo, con una tariffa minima di 1 minuto per lo spazio di archiviazione di Shuffle standard e una tariffa minima di 5 minuti per lo spazio di archiviazione di Shuffle Premium. Lo spazio di archiviazione di Premium Shuffle può essere utilizzato solo con Premium Compute Unit.
Prezzi degli acceleratori
Il tasso di accelerazione mostrato di seguito è un tasso orario. Viene ripartito e fatturato al secondo, con un costo minimo di 5 minuti.
Esempio di prezzi
Se il carico di lavoro batch di Dataproc Serverless per Spark viene eseguito con 12 DCU
(spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2)
per 24 ore nella regione us-central1 e consuma 25 GB di spazio di archiviazione shuffle, il
calcolo del prezzo è il seguente.
Total compute cost = 12 * 24 * $0.060000 = $17.28 Total storage cost = 25 * ($0.040/301) = $0.03 ------------------------------------------------ Total cost = $17.28 + $0.03 = $17.31
Note:
- L'esempio considera un mese di 30 giorni. Poiché la durata del carico di lavoro in batch è di un giorno, il tasso di archiviazione casuale mensile viene diviso per 30.
Se il carico di lavoro batch di Dataproc Serverless per Spark viene eseguito con 12 DCU e 2 GPU L4 (spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2,spark.dataproc.driver.compute.tier=premium,spark.dataproc.executor.compute.tier=premium,spark.dataproc.executor.disk.tier=premium,spark.dataproc.executor.resource.accelerator.type=l4) per 24 ore nella regione
us-central1 e consuma 25 GB di spazio di archiviazione shuffle, il calcolo del prezzo
è il seguente.
Total compute cost = 12 * 24 * $0.089000 = $25.632 Total storage cost = 25 * ($0.1/301) = $0.083 Total accelerator cost = 2 * 24 * $0.6720 = $48.39 ------------------------------------------------ Total cost = $25.632 + $0.083 + $48.39 = $74.105
Note:
- L'esempio considera un mese di 30 giorni. Poiché la durata del carico di lavoro in batch è di un giorno, il tasso di archiviazione casuale mensile viene diviso per 30.
Se il carico di lavoro interattivo di Dataproc Serverless per Spark viene eseguito con 12 DCU (spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2) per 24 ore nella regione us-central1 e consuma 25 GB di spazio di archiviazione di shuffle, il calcolo del prezzo è il seguente:
Total compute cost = 12 * 24 * $0.089000 = $25.632 Total storage cost = 25 * ($0.040/301) = $0.03 ------------------------------------------------ Total cost = $25.632 + $0.03 = $25.662
Note:
- L'esempio considera un mese di 30 giorni. Poiché la durata del carico di lavoro in batch è di un giorno, il tasso di archiviazione casuale mensile viene diviso per 30.
Esempio di stima dei prezzi
Al completamento di un carico di lavoro batch, Dataproc Serverless per Spark calcola le
UsageMetrics,
che contengono un'approssimazione del numero totale di risorse DCU, acceleratore e
di archiviazione di shuffle consumate dal carico di lavoro completato. Dopo aver eseguito un carico di lavoro,
puoi eseguire il comando gcloud dataproc batches describe BATCH_ID
per visualizzare le metriche sull'utilizzo del carico di lavoro,
che ti aiutano a stimare il costo dell'esecuzione del carico di lavoro.
Esempio:
Dataproc Serverless per Spark esegue un carico di lavoro su un cluster temporaneo con
un master e due worker. Ogni nodo consuma 4 unità di calcolo discreta (impostazione predefinita: 4 unità di calcolo discreta per core, vedi spark.dataproc.driver.disk.size) e 400 GB di spazio di archiviazione per il rimescolamento (impostazione predefinita: 100 GB per core, vedi spark.driver.cores).
Il carico di lavoro ha un tempo di esecuzione di 60 secondi. Inoltre, ogni worker ha 1 GPU per un totale
di 2 per tutto il cluster.
L'utente esegue gcloud dataproc batches describe BATCH_ID --region REGION
per ottenere le metriche sull'utilizzo. L'output del comando include il seguente snippet (milliDcuSeconds: 4 DCUs x 3 VMs x 60 seconds x 1000 =
720000, milliAcceleratorSeconds: 1 GPU x 2 VMs x 60 seconds x 1000 =
120000 e shuffleStorageGbSeconds: 400GB x 3 VMs x 60 seconds = 72000):
runtimeInfo:
approximateUsage:
milliDcuSeconds: '720000'
shuffleStorageGbSeconds: '72000'
milliAcceleratorSeconds: '120000'
Utilizzo di altre risorse di Google Cloud
Il tuo carico di lavoro Dataproc Serverless per Spark può utilizzare facoltativamente le seguenti risorse, ognuna delle quali fatturata secondo i relativi prezzi, tra cui a titolo esemplificativo:
Passaggi successivi
- Leggi la documentazione di Dataproc Serverless.
- Inizia a utilizzare Dataproc Serverless.
- Prova il Calcolatore prezzi.