Google Cloud Apache Spark용 서버리스 가격 책정
Apache Spark용 서버리스 가격은 데이터 컴퓨팅 단위 (DCU) 수, 사용된 가속기 수, 사용된 셔플 스토리지 양을 기준으로 책정됩니다. DCU, 가속기, 셔플 스토리지는 초당 요금이 청구되며, DCU와 셔플 스토리지는 최소 1분, 가속기는 최소 5분 요금이 청구됩니다.각 Dataproc vCPU는 0.6 DCU로 계산됩니다. RAM은 8GB 미만과 초과 시 요금이 다르게 청구됩니다. vCPU당 8GB 미만의 RAM 기가바이트당 0.1 DCU로 계산되며, vCPU당 8GB 초과 RAM 기가바이트당 0.2 DCU로 계산됩니다. Spark 드라이버 및 실행기에서 사용한 메모리와 시스템 메모리 사용량은 DCU 사용량에 포함됩니다.
기본적으로 각 Apache Spark 일괄 처리 및 대화형 워크로드용 서버리스는 워크로드 기간 동안 최소 12개의 DCU를 사용합니다. 드라이버는 4개의 vCPU와 16GB의 RAM을 사용하고 4개의 DCU를 사용하며, 2개의 실행자 각각은 4개의 vCPU와 16GB의 RAM을 사용하고 4개의 DCU를 사용합니다. Spark 속성을 설정하여 vCPU 수와 vCPU당 메모리 양을 맞춤설정할 수 있습니다. 추가 Compute Engine VM 또는 영구 디스크 요금이 적용되지 않습니다.
데이터 컴퓨팅 단위 (DCU) 가격 책정
아래에 표시된 DCU 요금은 시간당 요금입니다. 요금은 비례 배분되어 초 단위로 청구되며, 최소 청구 시간은 1분입니다.
Apache Spark용 서버리스 대화형 워크로드에는 프리미엄 요금이 부과됩니다.
셔플 스토리지 가격 책정
아래에 표시된 셔플 스토리지 요금은 월간 요금입니다. 표준 셔플 스토리지의 경우 1분, 프리미엄 셔플 스토리지의 경우 5분의 최소 요금이 적용되며, 초 단위로 비례 배분되어 청구됩니다. 프리미엄 셔플 스토리지: 프리미엄 컴퓨팅 단위에서만 사용할 수 있습니다.
가속기 가격 책정
아래에 표시된 가속기 요금은 시간당 요금입니다. 비용은 5분 최소 요금으로 초당 비례 배분되어 청구됩니다.
가격 책정 예시
Apache Spark용 서버리스 일괄 워크로드가 us-central1 리전에서 24시간 동안 12개의 DCU(spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2)로 실행되고 25GB의 셔플 스토리지를 소비하는 경우 가격은 다음과 같이 계산됩니다.
Total compute cost = 12 * 24 * $0.060000 = $17.28 Total storage cost = 25 * ($0.040/30) = $0.033 ------------------------------------------------ Total cost = $17.28 + $0.033 = $17.313
참고:
- 이 예시에서는 한 달을 30일로 가정합니다. 일괄 워크로드 기간이 하루이므로 월 셔플 스토리지 요금은 30으로 나뉩니다.
Apache Spark용 서버리스 일괄 워크로드가 12개의 DCU와 2개의 L4 GPU (spark.driver.cores=4,spark.executor.cores=4,
spark.executor.instances=2,spark.dataproc.driver.compute.tier=premium,
spark.dataproc.executor.compute.tier=premium,
spark.dataproc.executor.disk.tier=premium,
spark.dataproc.executor.resource.accelerator.type=l4)로 24시간 동안 us-central1 리전에서 실행되고 25GB의 셔플 스토리지를 소비하는 경우 가격 계산은 다음과 같습니다.
Total compute cost = 12 * 24 * $0.089000 = $25.632 Total storage cost = 25 * ($0.1/30) = $0.083 Total accelerator cost = 2 * 24 * $0.6720 = $48.39 ------------------------------------------------ Total cost = $25.632 + $0.083 + $48.39 = $74.105
참고:
- 이 예에서는 한 달을 30일로 가정합니다. 일괄 워크로드 기간이 하루이므로 월 셔플 스토리지 요금은 30으로 나뉩니다.
Apache Spark용 서버리스 대화형 워크로드가 us-central1 리전에서 24시간 동안 12개의 DCU(spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2)로 실행되고 25GB의 셔플 스토리지를 소비하는 경우 가격 계산은 다음과 같습니다.
Total compute cost = 12 * 24 * $0.089000 = $25.632 Total storage cost = 25 * ($0.040/30) = $0.033 ------------------------------------------------ Total cost = $25.632 + $0.033 = $25.665
참고:
- 이 예시에서는 한 달을 30일로 가정합니다. 일괄 워크로드 기간이 하루이므로 월 셔플 스토리지 요금은 30으로 나뉩니다.
가격 책정 예시
일괄 워크로드가 완료되면 Apache Spark용 서버리스는 완료된 워크로드에서 사용한 총 DCU, 가속기, 셔플 스토리지 리소스의 근사치를 포함하는 UsageMetrics를 계산합니다. 워크로드를 실행한 후 gcloud dataproc batches describe BATCH_ID 명령어를 실행하여 워크로드 사용량 측정항목을 확인하면 워크로드 실행 비용을 추정하는 데 도움이 됩니다.
예:
Apache Spark용 서버리스는 마스터 1개와 작업자 2개가 있는 임시 클러스터에서 워크로드를 실행합니다. 각 노드는 4개의 DCU (기본값은 코어당 4개의 DCU, spark.dataproc.driver.disk.size 참조)와 400GB의 셔플 스토리지(기본값은 코어당 100GB, spark.driver.cores 참조)를 소비합니다.
워크로드 실행 시간은 60초입니다. 또한 각 작업자에는 1개의 GPU가 있어 클러스터 전체에 총 2개의 GPU가 있습니다.
사용자가 gcloud dataproc batches describe BATCH_ID --region REGION을 실행하여
사용량 측정항목을 가져옵니다. 명령어 출력에는 다음 스니펫이 포함됩니다(milliDcuSeconds: 4 DCUs x 3 VMs x 60 seconds x 1000 = 720000, milliAcceleratorSeconds: 1 GPU x 2 VMs x 60 seconds x 1000 = 120000, shuffleStorageGbSeconds: 400GB x 3 VMs x 60 seconds = 72000).
runtimeInfo:
approximateUsage:
milliDcuSeconds: '720000'
shuffleStorageGbSeconds: '72000'
milliAcceleratorSeconds: '120000'
기타 Google Cloud 리소스 사용
Apache Spark용 서버리스 워크로드에서 다음을 포함한 여러 리소스를 선택적으로 활용할 수 있으며 각기 해당하는 가격에 따라 요금이 청구됩니다.
다음 단계
- Serverless for Apache Spark 문서를 읽어보세요.
- Apache Spark용 서버리스를 시작하세요.
- 가격 계산기 사용해 보기