Metadati del cluster

Dataproc imposta valori di metadati speciali per le istanze in esecuzione nel cluster:

Chiave metadatiValore
dataproc-bucketNome del bucket di staging del cluster
dataproc-regionRegione dell'endpoint del cluster
dataproc-worker-countNumero di nodi worker nel cluster. Il valore è 0 per i cluster a nodo singolo.
dataproc-cluster-nameNome del cluster
dataproc-cluster-uuidUUID del cluster
dataproc-roleRuolo dell'istanza, Master o Worker
dataproc-masterIl nome host del primo nodo master. Il valore è [CLUSTER_NAME]-m in un cluster standard o a nodo singolo oppure [CLUSTER_NAME]-m-0 in un cluster ad alta disponibilità, dove [CLUSTER_NAME] è il nome del cluster.
dataproc-master-additionalElenco separato da virgole dei nomi host per i nodi master aggiuntivi in un cluster ad alta disponibilità, ad esempio [CLUSTER_NAME]-m-1,[CLUSTER_NAME]-m-2 in un cluster con 3 nodi master.
SPARK_BQ_CONNECTOR_VERSION or SPARK_BQ_CONNECTOR_URLLa versione o l'URL che rimanda a una versione del connettore Spark BigQuery da utilizzare nelle applicazioni Spark, ad esempio 0.42.1 o gs://spark-lib/bigquery/spark-3.5-bigquery-0.42.1.jar. Una versione predefinita del connettore Spark BigQuery è preinstallata nei cluster Dataproc 2.1 e nelle versioni successive delle immagini. Per saperne di più, consulta Utilizzare il connettore Spark BigQuery.

Puoi utilizzare questi valori per personalizzare il comportamento delle azioni di inizializzazione.

Puoi utilizzare il flag --metadata nel comando gcloud dataproc clusters create per fornire i tuoi metadati:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --metadata=name1=value1,name2=value2... \
    ... other flags ...