Google Cloud Preise für Serverless for Apache Spark

Die Preise für Serverless for Apache Spark basieren auf der Anzahl der Data Compute Units (DCUs), der Anzahl der verwendeten Beschleuniger und der Menge des verwendeten Shuffle-Speichers. DCUs, Beschleuniger und Shuffle-Speicher werden pro Sekunde abgerechnet, mit einer Mindestgebühr von 1 Minute für DCUs und Shuffle-Speicher und einer Mindestgebühr von 5 Minuten für Beschleuniger.

Jede Dataproc-vCPU zählt als 0,6 DCU. RAM wird unter und über 8 GB unterschiedlich berechnet. Jedes Gigabyte RAM unter 8 GB pro vCPU zählt als 0,1 DCU und jedes Gigabyte RAM über 8 GB pro vCPU zählt als 0,2 DCU. Der von Spark-Treibern und -Executoren verwendete Arbeitsspeicher sowie die Arbeitsspeichernutzung des Systems werden auf die DCU-Nutzung angerechnet.

Standardmäßig verbraucht jede Serverless for Apache Spark-Batch- und interaktive Arbeitslast mindestens 12 DCUs für die Dauer der Arbeitslast: Der Treiber verwendet 4 vCPUs und 16 GB RAM und verbraucht 4 DCUs, und jeder der 2 Executors verwendet 4 vCPUs und 16 GB RAM und verbraucht 4 DCUs. Sie können die Anzahl der vCPUs und die Speicherkapazität pro vCPU anpassen, indem Sie Spark-Eigenschaften festlegen. Es fallen keine zusätzlichen Gebühren für Compute Engine-VMs oder nichtflüchtige Festplatten an.

Preise für Data Compute Units (DCUs)

Der unten angegebene DCU-Preis ist ein Stundensatz. Die Gebühren werden anteilig und sekundengenau abgerechnet, mit einem Minimum von einer Minute. Wenn Sie nicht in US-Dollar bezahlen, werden die Preise in Ihrer Währung Cloud Platform-SKUs angewendet werden.

Interaktive Arbeitslasten in Serverless for Apache Spark werden zum Premium-Tarif abgerechnet.

Preise für Shuffle-Speicher

Die unten angegebene Shuffle-Speicherrate ist eine monatliche Rate. Die Gebühren werden anteilig und sekundengenau abgerechnet, mit einer Mindestgebühr von 1 Minute für Standard-Shuffle-Speicher und 5 Minuten für Premium-Shuffle-Speicher. Premium-Shuffle-Speicher kann nur mit Premium-Recheneinheiten verwendet werden.

Wenn Sie nicht in US-Dollar bezahlen, werden die Preise in Ihrer Währung Cloud Platform-SKUs angewendet werden.

Preise für Beschleuniger

Die unten angegebene Beschleunigungsrate ist ein Stundensatz. Die Gebühren werden anteilig und sekundengenau abgerechnet, mit einer Mindestgebühr von 5 Minuten. Wenn Sie nicht in US-Dollar bezahlen, werden die Preise in Ihrer Währung Cloud Platform-SKUs angewendet werden.

Preisbeispiel

Wenn die Serverless for Apache Spark-Batcharbeitslast mit 12 DCUs (spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2) 24 Stunden lang in der Region „us-central1“ ausgeführt wird und 25 GB Shuffle-Speicher verbraucht, sieht die Preisberechnung wie folgt aus.

Total compute cost = 12 * 24 * $0.060000 = $17.28
Total storage cost = 25 * ($0.040/301) = $0.03
------------------------------------------------
Total cost = $17.28 + $0.03 = $17.31

Hinweise:

  1. Das Beispiel geht von einem Monat mit 30 Tagen aus. Da die Dauer des Batch-Workloads einen Tag beträgt, wird die monatliche Shuffle-Speicherrate durch 30 geteilt.

Wenn der Serverless for Apache Spark-Batch-Workload 24 Stunden lang mit 12 DCUs und 2 L4-GPUs (spark.driver.cores=4,spark.executor.cores=4, spark.executor.instances=2,spark.dataproc.driver.compute.tier=premium, spark.dataproc.executor.compute.tier=premium, spark.dataproc.executor.disk.tier=premium, spark.dataproc.executor.resource.accelerator.type=l4) in der Region „us-central1“ ausgeführt wird und 25 GB Shuffle-Speicher verbraucht, sieht die Preisberechnung wie folgt aus.

Total compute cost = 12 * 24 * $0.089000 = $25.632
Total storage cost = 25 * ($0.1/301) = $0.083
Total accelerator cost = 2 * 24 * $0.6720 = $48.39
------------------------------------------------
Total cost = $25.632 + $0.083 + $48.39 = $74.105

Hinweise:

  1. Das Beispiel geht von einem Monat mit 30 Tagen aus. Da die Dauer des Batch-Workloads einen Tag beträgt, wird die monatliche Shuffle-Speicherrate durch 30 geteilt.

Wenn die interaktive Serverless for Apache Spark-Arbeitslast mit 12 DCUs (spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2) 24 Stunden lang in der Region „us-central1“ ausgeführt wird und 25 GB Shuffle-Speicher verbraucht, sieht die Preisberechnung wie folgt aus:

Total compute cost = 12 * 24 * $0.089000 = $25.632
Total storage cost = 25 * ($0.040/301) = $0.03
------------------------------------------------
Total cost = $25.632 + $0.03 = $25.662

Hinweise:

  1. Das Beispiel geht von einem Monat mit 30 Tagen aus. Da die Dauer des Batch-Workloads einen Tag beträgt, wird die monatliche Shuffle-Speicherrate durch 30 geteilt.

Beispiel für eine Kostenschätzung

Wenn eine Batcharbeitslast abgeschlossen ist, berechnet Serverless for Apache Spark UsageMetrics, die eine Näherung der gesamten DCU-, Beschleuniger- und Shuffle-Speicherressourcen enthalten, die von der abgeschlossenen Arbeitslast verbraucht wurden. Nachdem Sie eine Arbeitslast ausgeführt haben, können Sie mit dem Befehl gcloud dataproc batches describe BATCH_ID Messwerte zur Arbeitslastnutzung aufrufen, um die Kosten für die Ausführung der Arbeitslast zu schätzen.

Beispiel:

Serverless for Apache Spark führt eine Arbeitslast in einem kurzlebigen Cluster mit einem Master und zwei Workern aus. Jeder Knoten verbraucht 4 DCUs (Standardwert: 4 DCUs pro Kern – siehe spark.dataproc.driver.disk.size) und 400 GB Shuffle-Speicher (Standardwert: 100 GB pro Kern – siehe spark.driver.cores). Die Laufzeit der Arbeitslast beträgt 60 Sekunden. Außerdem hat jeder Worker eine GPU, sodass der Cluster insgesamt zwei GPUs hat.

Der Nutzer führt gcloud dataproc batches describe BATCH_ID --region REGION aus, um Nutzungsmesswerte zu erhalten. Die Befehlsausgabe enthält den folgenden Snippet (milliDcuSeconds: 4 DCUs x 3 VMs x 60 seconds x 1000 = 720000, milliAcceleratorSeconds: 1 GPU x 2 VMs x 60 seconds x 1000 = 120000 und shuffleStorageGbSeconds: 400GB x 3 VMs x 60 seconds = 72000):

runtimeInfo:
  approximateUsage:
    milliDcuSeconds: '720000'
    shuffleStorageGbSeconds: '72000'
    milliAcceleratorSeconds: '120000'

Nutzung anderer Google Cloud-Ressourcen

Ihre Serverless for Apache Spark-Arbeitslast kann optional die folgenden Ressourcen nutzen, die jeweils nach ihren eigenen Preisen abgerechnet werden. Dies sind beispielsweise:

Nächste Schritte

Individuelles Angebot einholen

Mit den „Pay as you go“-Preisen von Google Cloud bezahlen Sie nur für die Dienste, die Sie nutzen. Wenden Sie sich an unser Vertriebsteam, wenn Sie ein individuelles Angebot für Ihr Unternehmen erhalten möchten.
Vertrieb kontaktieren