Dataproc Serverless 가격 책정

Spark용 Dataproc 서버리스 가격은 데이터 컴퓨팅 단위 (DCU), 사용된 가속기 수, 사용된 셔플 스토리지 양에 따라 결정됩니다. DCU, 액셀러레이터, 셔플 스토리지는 초 단위로 청구되며 DCU 및 셔플 스토리지의 경우 최소 1분, 액셀러레이터의 경우 최소 5분부터 청구됩니다.

각 Dataproc vCPU는 0.6 DCU로 계산됩니다. RAM은 8GB 미만과 초과의 요금이 다릅니다 vCPU당 8기가바이트 미만의 RAM은 0.1 DCU로 계산되며, vCPU당 8기가바이트 초과의 RAM은 0.2 DCU로 계산됩니다. Spark 드라이버와 실행자가 사용하는 메모리와 시스템 메모리 사용량은 DCU 사용량에 산입됩니다.

기본적으로 각 Dataproc Serverless for Spark 일괄 및 대화형 워크로드는 워크로드 기간 동안 최소 12개의 DCU를 사용합니다. 드라이버는 4개의 vCPU와 16GB의 RAM을 사용하고 4개의 DCU를 사용하며, 2개의 실행자는 각각 4개의 vCPU와 16GB의 RAM을 사용하고 4개의 DCU를 사용합니다. Spark 속성을 설정하여 vCPU 수와 vCPU당 메모리 양을 맞춤설정할 수 있습니다. Compute Engine VM 또는 Persistent Disk에 대한 추가 요금이 부과되지 않습니다.

데이터 컴퓨팅 단위 (DCU) 가격 책정

아래에 표시된 DCU 요율은 시간당 요율입니다. 초 단위로 비율에 따라 청구되며 최소 1분의 요금이 부과됩니다 USD 외의 통화로 지불하는 경우 Cloud Platform SKU에 해당 통화로 표기된 가격이 적용됩니다.

Spark용 Dataproc Serverless 대화형 워크로드는 Premium 요금으로 청구됩니다.

셔플 스토리지 가격 책정

아래에 표시된 셔플 스토리지 요금은 월간 요금입니다. 프로래셔닝되어 초 단위로 청구되며, 표준 셔플 스토리지의 경우 최소 1분, 프리미엄 셔플 스토리지의 경우 최소 5분의 요금이 청구됩니다. Premium 셔플 스토리지는 Premium 컴퓨팅 단위에서만 사용할 수 있습니다.

USD 외의 통화로 지불하는 경우 Cloud Platform SKU에 해당 통화로 표기된 가격이 적용됩니다.

가속기 가격 책정

아래에 표시된 가속기 요금은 시간당 요금입니다. 분할된 후 초 단위로 청구되며 최소 5분의 요금이 부과됩니다 USD 외의 통화로 지불하는 경우 Cloud Platform SKU에 해당 통화로 표기된 가격이 적용됩니다.

가격 책정 예시

Spark 일괄 워크로드용 Dataproc Serverless를 us-central1 리전에서 24시간 동안 12DCU(spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2)로 실행하고 셔플 스토리지를 25GB 사용한 경우 가격은 다음과 같이 계산됩니다.

Total compute cost = 12 * 24 * $0.060000 = $17.28
Total storage cost = 25 * ($0.040/301) = $0.03
------------------------------------------------
Total cost = $17.28 + $0.03 = $17.31

참고:

  1. 이 예에서는 한 달을 30일로 가정합니다. 일괄 워크로드 기간이 1일 이므로 월간 셔플 스토리지 비율은 30으로 나뉩니다.

Spark 일괄 워크로드용 Dataproc Serverless가 12개의 DCU와 2개의 L4 GPU (spark.driver.cores=4,spark.executor.cores=4, spark.executor.instances=2,spark.dataproc.driver.compute.tier=premium, spark.dataproc.executor.compute.tier=premium, spark.dataproc.executor.disk.tier=premium, spark.dataproc.executor.resource.accelerator.type=l4)를 사용해 us-central1 리전에서 24시간 동안 실행하고 25GB의 셔플 스토리지를 소비하는 경우 가격 계산은 다음과 같습니다.

Total compute cost = 12 * 24 * $0.089000 = $25.632
Total storage cost = 25 * ($0.1/301) = $0.083
Total accelerator cost = 2 * 24 * $0.6720 = $48.39
------------------------------------------------
Total cost = $25.632 + $0.083 + $48.39 = $74.105

참고:

  1. 이 예에서는 한 달을 30일로 가정합니다. 일괄 워크로드 기간이 1일 이므로 월간 셔플 스토리지 비율은 30으로 나뉩니다.

us-central1 리전에서 24시간 동안 12DCU(spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2)로 실행되는 Spark용 Dataproc Serverless 대화형 워크로드가 25GB의 셔플 스토리지를 소비하는 경우 가격은 다음과 같이 계산됩니다.

Total compute cost = 12 * 24 * $0.089000 = $25.632
Total storage cost = 25 * ($0.040/301) = $0.03
------------------------------------------------
Total cost = $25.632 + $0.03 = $25.662

참고:

  1. 이 예에서는 한 달을 30일로 가정합니다. 일괄 워크로드 기간이 1일 이므로 월간 셔플 스토리지 비율은 30으로 나뉩니다.

가격 책정 예측 예시

배치 워크로드가 완료되면 Spark용 Dataproc Serverless는 UsageMetrics를 계산합니다. 여기에는 완료된 워크로드에서 소비한 총 DCU, 가속기, 셔플 스토리지 리소스의 대략적인 수치가 포함됩니다. 워크로드를 실행한 후 gcloud dataproc batches describe BATCH_ID 명령어를 실행하여 워크로드 사용 측정항목을 확인하여 워크로드 실행 비용을 추정할 수 있습니다.

예:

Spark용 Dataproc Serverless는 마스터 1개와 작업자 2개로 구성된 임시 클러스터에서 워크로드를 실행합니다. 각 노드는 4개의 DCU (기본값은 코어당 4개의 DCU임:spark.dataproc.driver.disk.size 참조)와 400GB의 셔플 스토리지(기본값은 코어당 100GB임:spark.driver.cores 참조)를 사용합니다. 워크로드 실행 시간은 60초입니다. 또한 각 작업자에는 GPU가 1개씩 있어 클러스터 전체에 총 2개의 GPU가 있습니다

사용자가 사용량 측정항목을 가져오기 위해 gcloud dataproc batches describe BATCH_ID --region REGION 을 실행합니다. 명령어 출력에는 다음 스니펫이 포함됩니다 (milliDcuSeconds: 4 DCUs x 3 VMs x 60 seconds x 1000 = 720000, milliAcceleratorSeconds: 1 GPU x 2 VMs x 60 seconds x 1000 = 120000, shuffleStorageGbSeconds: 400GB x 3 VMs x 60 seconds = 72000):

runtimeInfo:
  approximateUsage:
    milliDcuSeconds: '720000'
    shuffleStorageGbSeconds: '72000'
    milliAcceleratorSeconds: '120000'

기타 Google Cloud 리소스 사용

Spark용 Dataproc Serverless 워크로드에서 다음을 포함한 여러 리소스를 활용할 수 있으며 각기 해당하는 가격에 따라 요금이 청구됩니다.

다음 단계

커스텀 견적 요청

Google Cloud의 사용한 만큼만 지불하는 가격 책정 방식을 사용하면 사용한 서비스에 대한 요금만 지불하면 됩니다. 영업팀에 문의하여 조직에 대한 커스텀 견적을 받아 보세요.
영업팀에 문의