Proprietà cluster

Apache Hadoop YARN, HDFS, Spark e proprietà correlate

I componenti open source installati sui cluster Dataproc contengono molti file di configurazione. Ad esempio, Apache Spark e Apache Hadoop hanno diversi file di configurazione XML e in testo normale. Puoi utilizzare il flag ‑‑properties del comando gcloud dataproc clusters create per modificare molti file di configurazione comuni durante la creazione di un cluster.

Formattazione

Il flag gcloud dataproc clusters create --properties accetta il seguente formato di stringa:

file_prefix1:property1=value1,file_prefix2:property2=value2,...

• file_prefix si mappa a un file di configurazione predefinito come mostrato nella tabella di seguito e property a una proprietà all'interno del file.

• Il delimitatore predefinito utilizzato per separare più proprietà del cluster è la virgola (,). Tuttavia, se una virgola è inclusa in un valore della proprietà, devi modificare il delimitatore specificando "^delimiter^" all'inizio dell'elenco delle proprietà (per maggiori informazioni, consulta la sezione Esecuzione di escape per gli argomenti gcloud).

  • Esempio che utilizza un delimitatore "#":

    --properties ^#^file_prefix1:property1=part1,part2#file_prefix2:property2=value2
    

Esempi

--properties 'spark:spark.master=spark://example.com'

--properties 'spark:spark.master=spark://example.com,hdfs:dfs.hosts=/foo/bar/baz'

"properties": {
  "spark:spark.executor.memory": "10g"
}

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --properties=spark:spark.executor.memory=10g \
    --log-http \
    other args ...

...
== body start ==
{"clusterName": "my-cluster", "config": {"gceClusterConfig": ...
"masterConfig": {... "softwareConfig": {"properties": {"spark:spark.executor.memory": "10g"}},

...
== body end ==
...

Proprietà cluster e job

Le proprietà Apache Hadoop YARN, HDFS, Spark e altre con prefisso di file vengono applicate a livello di cluster quando ne crei uno. Queste proprietà non possono essere applicate a un cluster dopo la creazione. Tuttavia, molte di queste proprietà possono essere applicate anche a job specifici. Quando applichi una proprietà a un job, il prefisso del file non viene utilizzato.

L'esempio seguente imposta la memoria dell'executor Spark su 4 GB per un job Spark (prefisso spark: omesso).

gcloud dataproc jobs submit spark \
    --region=REGION \
    --properties=spark.executor.memory=4g \
    other args ...

Le proprietà dei job possono essere inviate in un file utilizzando il gcloud dataproc jobs submit job-type --properties-file flag (vedi, ad esempio, la descrizione di --properties-file per l'invio di un job Hadoop).

gcloud dataproc jobs submit JOB_TYPE \
    --region=REGION \
    --properties-file=PROPERTIES_FILE \
    other args ...

PROPERTIES_FILE è un insieme di coppie key=value delimitate da riga. La proprietà da impostare è key e il valore su cui impostarla è value. Consulta la classe java.util.Properties per una descrizione dettagliata del formato del file delle proprietà.

Di seguito è riportato un esempio di file di proprietà che può essere passato al flag --properties-file quando viene inviato un job Dataproc.

 dataproc:conda.env.config.uri=gs://some-bucket/environment.yaml
 spark:spark.history.fs.logDirectory=gs://some-bucket
 spark:spark.eventLog.dir=gs://some-bucket
 capacity-scheduler:yarn.scheduler.capacity.root.adhoc.capacity=5

Tabella delle proprietà con prefisso del file

Note

• Alcune proprietà sono riservate e non possono essere sostituite perché influiscono sulla funzionalità del cluster Dataproc. Se tenti di modificare una proprietà riservata, riceverai un messaggio di errore durante la creazione del cluster.
• Puoi specificare più modifiche separando ciascuna con una virgola.
• Il flag --properties non può modificare i file di configurazione non mostrati sopra.
• Le modifiche alle proprietà verranno applicate prima dell'avvio dei demoni nel cluster.
• Se la proprietà specificata esiste, verrà aggiornata. Se la proprietà specificata non esiste, verrà aggiunta al file di configurazione.

Proprietà del servizio Dataproc

Le proprietà elencate in questa sezione sono specifiche di Dataproc. Queste proprietà possono essere utilizzate per configurare ulteriormente la funzionalità del cluster Dataproc.

Formattazione

Il flag gcloud dataproc clusters create --properties accetta il seguente formato di stringa:

property_prefix1:property1=value1,property_prefix2:property2=value2,...

• Il delimitatore predefinito utilizzato per separare più proprietà del cluster è la virgola (,). Tuttavia, se una virgola è inclusa in un valore della proprietà, devi modificare il delimitatore specificando "^delimiter^" all'inizio dell'elenco delle proprietà (per maggiori informazioni, consulta la sezione sulla fuga di argomenti gcloud).

  • Esempio che utilizza un delimitatore "#":

    --properties ^#^property_prefix1:property1=part1,part2#property_prefix2:property2=value2
    

Esempio:

Crea un cluster e imposta la modalità di flessibilità avanzata su mescolamento dei worker principali di Spark.

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --properties=dataproc:efm.spark.shuffle=primary-worker \
    other args ...

Tabella delle proprietà del servizio Dataproc

¹File archivio chiavi: il file archivio chiavi contiene il certificato SSL. Deve essere nel formato Java KeyStore (JKS). Quando viene copiato nelle VM, viene rinominato in keystore.jks. Il certificato SSL deve essere un certificato con caratteri jolly che si applichi a ogni nodo del cluster.

²File dell'archivio attendibilità: il file dell'archivio attendibilità deve essere nel formato Java KeyStore (JKS). Quando viene copiato nelle VM, viene rinominato in truststore.jks.