Dataproc 클러스터 노드의 부팅 디스크로 표준, SSD, 균형 잡힌 영구 디스크 또는 하이퍼디스크 균형을 선택합니다.
클러스터 노드의 영구 부팅 디스크 유형 선택
Google Cloud 콘솔, Google Cloud CLI 또는 Dataproc API를 사용하여 클러스터를 만들 때 영구 부팅 디스크 유형을 선택할 수 있습니다.
콘솔
Google Cloud 콘솔의 Dataproc 클러스터 만들기 페이지에 있는 노드 구성 패널에서 클러스터를 만들고 마스터, 기본 작업자, 보조 작업자 클러스터 노드에 대한 표준, SSD 또는 균형 잡힌 영구 부팅 디스크를 선택할 수 있습니다.
gcloud CLI
--master-boot-disk-type, --worker-boot-disk-type, --secondary-worker-boot-disk-type 플래그와 함께 gcloud dataproc clusters create 명령어를 사용하여 클러스터를 만들고 마스터, 기본 작업자, 보조 작업자 클러스터 노드에 대한 표준, SSD, 균형 잡힌 영구 부팅 디스크 또는 균형 잡힌 하이퍼디스크를 선택할 수 있습니다.
Dataproc 클러스터 마스터 및 기본 작업자 노드의 기본 영구 부팅 디스크 유형은 pd-standard입니다. VM 머신 유형이 하이퍼디스크만 부팅 디스크로 지원하는 경우 기본 부팅 디스크는 hyperdisk-balanced입니다.
클러스터 보조 작업자 노드의 기본 영구 부팅 디스크 유형은 기본 작업자 노드 영구 부팅 디스크 유형입니다.
--master-boot-disk-type, --worker-boot-disk-type, --secondary-worker-boot-disk-type 플래그에 pd-standard, pd-ssd, pd-balanced 또는 hyperdisk-balanced 값을 전달할 수 있습니다. 유효한 디스크 유형 값은 모든 클러스터 노드 유형에 설정할 수 있습니다.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --master-boot-disk-type=pd-ssd \ --worker-boot-disk-type=hyperdisk-balanced \ --secondary-worker-boot-disk-type=pd-standard \ other args ...
REST API
Dataproc 클러스터 마스터 및 기본 작업자 노드의 기본 부팅 디스크 유형은 pd-standard입니다. VM 머신 유형이 하이퍼디스크만 부팅 디스크로 지원하는 경우 기본 부팅 디스크는 hyperdisk-balanced입니다. 보조 작업자 노드의 기본 부팅 디스크 유형은 기본 작업 노드 부팅 디스크 유형입니다.
cluster.create API 요청의 일부로 masterConfig, workerConfig, secondaryWorkerConfig의 InstanceGroupConfig.DiskConfig.bootDiskType 필드에 pd-standard, pd-ssd, pd-balanced 또는 hyperdisk-balanced 값을 설정할 수 있습니다. 유효한 부팅 디스크 유형 값은 모든 클러스터 노드 유형에 설정할 수 있습니다.
하이퍼디스크 설정
클러스터를 만들 때 Dataproc 클러스터 노드의 부팅 디스크로 hyperdisk-balanced를 선택하는 경우 gcloud CLI 또는 Dataproc API를 사용하여 프로비저닝된 IOPS 및 프로비저닝된 처리량 설정을 지정할 수 있습니다.
gcloud CLI
gcloud dataproc clusters create 명령어 --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput, --worker-boot-disk-provisioned-throughput 플래그를 사용하여 하이퍼디스크 균형 부팅 디스크가 있는 클러스터 노드의 프로비저닝된 IOPS 및 프로비저닝된 처리량을 설정합니다.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --master-boot-disk-type=hyperdisk-balanced \ --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS \ --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \ --worker-boot-disk-type=hyperdisk-balanced \ --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \ --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \ other args ...
REST API
마스터 및 작업자 구성의 InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops 및 InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput 필드를 사용하여 하이퍼디스크 부팅 디스크가 있는 클러스터 노드의 프로비저닝된 IOPS 및 프로비저닝된 처리량을 설정합니다.