Clusterattribute

Apache Hadoop YARN, HDFS, Spark und zugehörige Attribute

Die in Dataproc-Clustern installierten Open-Source-Komponenten enthalten viele Konfigurationsdateien. Apache Spark und Apache Hadoop haben beispielsweise mehrere XML- und Nur-Text-Konfigurationsdateien. Mit dem Flag ‑‑properties des Befehls gcloud dataproc clusters create können Sie beim Erstellen eines Clusters viele häufig verwendete Konfigurationsdateien ändern.

Formatierung

Das Flag gcloud dataproc clusters create --properties akzeptiert das folgende Stringformat:

file_prefix1:property1=value1,file_prefix2:property2=value2,...

• Das file_prefix wird wie in der folgenden Tabelle dargestellt einer vordefinierten Konfigurationsdatei zugeordnet und die property wird einem Attribut in der Datei zugeordnet.

• Das Standardtrennzeichen zum Trennen mehrerer Clusterattribute ist das Komma (,). Wenn in einem Attributwert jedoch ein Komma enthalten ist, müssen Sie das Trennzeichen ändern, indem Sie ein „^delimiter^“ am Anfang der Attributsliste angeben (weitere Informationen finden Sie unter gcloud topic escaping).

  • Beispiel mit einem „#“-Trennzeichen:

    --properties ^#^file_prefix1:property1=part1,part2#file_prefix2:property2=value2
    

Beispiele

--properties 'spark:spark.master=spark://example.com'

--properties 'spark:spark.master=spark://example.com,hdfs:dfs.hosts=/foo/bar/baz'

"properties": {
  "spark:spark.executor.memory": "10g"
}

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --properties=spark:spark.executor.memory=10g \
    --log-http \
    other args ...

...
== body start ==
{"clusterName": "my-cluster", "config": {"gceClusterConfig": ...
"masterConfig": {... "softwareConfig": {"properties": {"spark:spark.executor.memory": "10g"}},

...
== body end ==
...

Cluster- und Jobattribute

Die Apache Hadoop YARN-, HDFS-, Spark- und andere Dateipräfixattribute werden beim Erstellen eines Clusters auf Clusterebene angewendet. Diese Attribute können nach dem Erstellen eines Clusters nicht mehr angewendet werden. Viele dieser Attribute können jedoch auch auf bestimmte Jobs angewendet werden. Wenn Sie ein Attribut auf einen Job anwenden, wird das Dateipräfix nicht verwendet.

Im folgenden Beispiel wird der Spark-Executor-Arbeitsspeicher für einen Spark-Job auf 4 GB festgelegt (Präfix spark: wird ausgelassen).

gcloud dataproc jobs submit spark \
    --region=REGION \
    --properties=spark.executor.memory=4g \
    other args ...

Jobeigenschaften können mit dem Flag gcloud dataproc jobs submit job-type --properties-file in einer Datei gesendet werden. Weitere Informationen finden Sie beispielsweise in der Beschreibung von --properties-file für das Einreichen eines Hadoop-Jobs.

gcloud dataproc jobs submit JOB_TYPE \
    --region=REGION \
    --properties-file=PROPERTIES_FILE \
    other args ...

PROPERTIES_FILE ist eine Reihe von zeilenweise begrenzten key=value-Paaren. Die Property, die festgelegt werden soll, ist key und der Wert, auf den sie festgelegt werden soll, ist value. Eine detaillierte Beschreibung des Properties-Dateiformats finden Sie in der Klasse java.util.Properties.

Im Folgenden finden Sie ein Beispiel für eine Properties-Datei, die beim Einreichen eines Dataproc-Jobs an das Flag --properties-file übergeben werden kann.

 dataproc:conda.env.config.uri=gs://some-bucket/environment.yaml
 spark:spark.history.fs.logDirectory=gs://some-bucket
 spark:spark.eventLog.dir=gs://some-bucket
 capacity-scheduler:yarn.scheduler.capacity.root.adhoc.capacity=5

Tabelle mit Attributen mit Dateipräfixen

Hinweise

• Einige Attribute sind reserviert und können nicht überschrieben werden, da sie sich auf die Funktionalität des Dataproc-Clusters auswirken. Wenn Sie versuchen, ein reserviertes Attribut zu ändern, erhalten Sie beim Erstellen des Clusters eine Fehlermeldung.
• Mehrere Änderungen werden durch ein Komma getrennt.
• Mit dem Flag --properties können nur die oben aufgeführten Konfigurationsdateien geändert werden.
• Änderungen an den Attributen werden übernommen, bevor die Daemons auf dem Cluster gestartet werden.
• Wenn das angegebene Attribut bereits vorhanden ist, wird es aktualisiert. Wenn die angegebene Eigenschaft nicht vorhanden ist, wird sie der Konfigurationsdatei hinzugefügt.

Dataproc-Dienstattribute

Die in diesem Abschnitt aufgeführten Attribute gelten speziell für Dataproc. Diese Attribute können verwendet werden, um die Funktionalität Ihres Dataproc-Clusters weiter zu konfigurieren.

Formatierung

Das Flag gcloud dataproc clusters create --properties akzeptiert das folgende Stringformat:

property_prefix1:property1=value1,property_prefix2:property2=value2,...

• Das Standardtrennzeichen zum Trennen mehrerer Clusterattribute ist das Komma (,). Wenn in einem Attributwert jedoch ein Komma enthalten ist, müssen Sie das Trennzeichen ändern, indem Sie "^delimiter^" am Anfang der Attributsliste angeben (weitere Informationen finden Sie unter gcloud topic escaping).

  • Beispiel mit einem „#“-Trennzeichen:

    --properties ^#^property_prefix1:property1=part1,part2#property_prefix2:property2=value2
    

Beispiel:

Erstellen Sie einen Cluster und legen Sie den Enhanced Flexibility Mode auf den primären Worker-Shuffle für Spark fest.

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --properties=dataproc:efm.spark.shuffle=primary-worker \
    other args ...

Tabelle der Dataproc-Dienstattribute

¹Keystore-Datei: Die Keystore-Datei enthält das SSL-Zertifikat. Es muss im JKS-Format (Java KeyStore) vorliegen. Beim Kopieren in VMs wird er in keystore.jks umbenannt. Das SSL-Zertifikat muss ein Platzhalterzertifikat sein, das für jeden Knoten im Cluster gilt.

²Truststore-Datei: Die Truststore-Datei muss im JKS-Format (Java KeyStore) vorliegen. Beim Kopieren in VMs wird er in truststore.jks umbenannt.