Metadata cluster

Dataproc menetapkan nilai metadata khusus untuk instance yang berjalan di cluster Anda:

Kunci metadataNilai
dataproc-bucketNama bucket staging cluster
dataproc-regionRegion endpoint cluster
dataproc-worker-countJumlah node pekerja di cluster. Nilainya adalah 0 untuk cluster node tunggal.
dataproc-cluster-nameNama cluster
dataproc-cluster-uuidUUID cluster
dataproc-rolePeran instance, Master atau Worker
dataproc-masterNama host node master pertama. Nilainya adalah [CLUSTER_NAME]-m di cluster standar atau cluster node tunggal, atau [CLUSTER_NAME]-m-0 di cluster ketersediaan tinggi, dengan [CLUSTER_NAME] adalah nama cluster Anda.
dataproc-master-additionalDaftar nama host yang dipisahkan koma untuk node master tambahan di cluster ketersediaan tinggi, misalnya, [CLUSTER_NAME]-m-1,[CLUSTER_NAME]-m-2 di cluster yang memiliki 3 node master.
SPARK_BQ_CONNECTOR_VERSION or SPARK_BQ_CONNECTOR_URLVersi atau URL yang mengarah ke versi konektor BigQuery Spark yang akan digunakan di aplikasi Spark, misalnya, 0.42.1 atau gs://spark-lib/bigquery/spark-3.5-bigquery-0.42.1.jar. Versi konektor BigQuery Spark default sudah diinstal sebelumnya di cluster versi gambar Dataproc 2.1 dan yang lebih baru. Untuk mengetahui informasi selengkapnya, lihat Menggunakan konektor BigQuery Spark.

Anda dapat menggunakan nilai ini untuk menyesuaikan perilaku tindakan inisialisasi.

Anda dapat menggunakan flag --metadata dalam perintah gcloud dataproc clusters create untuk memberikan metadata Anda sendiri:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --metadata=name1=value1,name2=value2... \
    ... other flags ...