Metadata cluster

Dataproc menetapkan nilai metadata khusus untuk instance yang berjalan di cluster Anda:

Kunci metadataNilai
dataproc-bucketNama bucket penyiapan cluster
dataproc-regionRegion endpoint cluster
dataproc-worker-countJumlah node pekerja di cluster. Nilainya adalah 0 untuk cluster node tunggal.
dataproc-cluster-nameNama cluster
dataproc-cluster-uuidUUID cluster
dataproc-rolePeran instance, Master atau Worker
dataproc-masterNama host node master pertama. Nilainya adalah [CLUSTER_NAME]-m di cluster standar atau node tunggal, atau [CLUSTER_NAME]-m-0 di cluster ketersediaan tinggi, dengan [CLUSTER_NAME] adalah nama cluster Anda.
dataproc-master-additionalDaftar nama host yang dipisahkan koma untuk node master tambahan dalam cluster ketersediaan tinggi, misalnya, [CLUSTER_NAME]-m-1,[CLUSTER_NAME]-m-2 dalam cluster yang memiliki 3 node master.
SPARK_BQ_CONNECTOR_VERSION or SPARK_BQ_CONNECTOR_URLVersi atau URL yang mengarah ke versi konektor Spark BigQuery yang akan digunakan dalam aplikasi Spark, misalnya, 0.42.1 atau gs://spark-lib/bigquery/spark-3.5-bigquery-0.42.1.jar. Versi konektor Spark BigQuery default telah diinstal sebelumnya di cluster versi image Dataproc 2.1 dan yang lebih baru. Untuk mengetahui informasi selengkapnya, lihat Menggunakan konektor Spark BigQuery.

Anda dapat menggunakan nilai ini untuk menyesuaikan perilaku tindakan inisialisasi.

Anda dapat menggunakan flag --metadata dalam perintah gcloud dataproc clusters create untuk menyediakan metadata Anda sendiri:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --metadata=name1=value1,name2=value2... \
    ... other flags ...