Métadonnées du cluster

Dataproc définit des valeurs de métadonnées spéciales pour les instances exécutées dans votre cluster :

Clé de métadonnéeValeur
dataproc-bucketNom du bucket de préproduction du cluster
dataproc-regionRégion du point de terminaison du cluster
dataproc-worker-countNombre de nœuds de calcul dans le cluster. La valeur est 0 pour les clusters à nœud unique.
dataproc-cluster-nameNom du cluster
dataproc-cluster-uuidUUID du cluster
dataproc-roleRôle de l'instance : soit Master, soit Worker
dataproc-masterNom d'hôte du premier nœud maître. La valeur est [CLUSTER_NAME]-m dans un cluster standard ou à nœud unique, ou [CLUSTER_NAME]-m-0 dans un cluster à haute disponibilité, où [CLUSTER_NAME] est le nom de votre cluster.
dataproc-master-additionalListe des noms d'hôtes séparés par une virgule pour les nœuds maîtres supplémentaires d'un cluster à haute disponibilité, par exemple [CLUSTER_NAME]-m-1,[CLUSTER_NAME]-m-2 dans un cluster comportant trois nœuds maîtres.
SPARK_BQ_CONNECTOR_VERSION or SPARK_BQ_CONNECTOR_URLVersion ou URL pointant vers une version du connecteur Spark BigQuery à utiliser dans les applications Spark (par exemple, 0.42.1 ou gs://spark-lib/bigquery/spark-3.5-bigquery-0.42.1.jar). Une version par défaut du connecteur Spark BigQuery est préinstallée dans les clusters Dataproc 2.1 et versions d'image ultérieures. Pour en savoir plus, consultez Utiliser le connecteur Spark-BigQuery.

Vous pouvez utiliser ces valeurs pour personnaliser le comportement des actions d'initialisation.

Vous pouvez utiliser l'option --metadata dans la commande gcloud dataproc clusters create pour fournir vos propres métadonnées :

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --metadata=name1=value1,name2=value2... \
    ... other flags ...