Dataproc은 클러스터에서 실행되는 인스턴스의 특수 메타데이터 값을 설정합니다.
| 메타데이터 키 | 값 |
|---|---|
dataproc-bucket | 클러스터의 스테이징 버킷 이름 |
dataproc-region | 클러스터의 엔드포인트 지역 |
dataproc-worker-count | 클러스터에 있는 워커 노드 수. 단일 노드 클러스터의 경우 값은 0입니다. |
dataproc-cluster-name | 클러스터의 이름 |
dataproc-cluster-uuid | 클러스터의 UUID |
dataproc-role | 인스턴스 역할(Master 또는 Worker) |
dataproc-master | 첫 번째 마스터 노드의 호스트 이름. 값은 표준 또는 단일 노드 클러스터에서는 [CLUSTER_NAME]-m이거나 고가용성 클러스터에서는 [CLUSTER_NAME]-m-0입니다. 여기서 [CLUSTER_NAME]은 클러스터의 이름입니다. |
dataproc-master-additional | 고가용성 클러스터에서 추가 마스터 노드의 호스트 이름을 쉼표로 구분한 목록입니다. 예를 들어 마스터 노드가 3개인 클러스터의 경우 [CLUSTER_NAME]-m-1,[CLUSTER_NAME]-m-2입니다. |
SPARK_BQ_CONNECTOR_VERSION or SPARK_BQ_CONNECTOR_URL | Spark 애플리케이션에서 사용할 Spark BigQuery 커넥터 버전을 가리키는 버전 또는 URL입니다(예: 0.42.1 또는 gs://spark-lib/bigquery/spark-3.5-bigquery-0.42.1.jar). 기본 Spark BigQuery 커넥터 버전은 Dataproc 2.1 이상 이미지 버전 클러스터에 사전 설치됩니다. 자세한 내용은 Spark BigQuery 커넥터 사용을 참고하세요. |
이 값을 사용하여 초기화 작업의 동작을 맞춤설정할 수 있습니다.
gcloud dataproc clusters create 명령어에서 --metadata 플래그를 사용하여 자체 메타데이터를 제공할 수 있습니다.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --metadata=name1=value1,name2=value2... \ ... other flags ...