クラスタ プロパティ

Apache Hadoop YARN、HDFS、Spark、関連プロパティ

Dataproc クラスタにインストールされるオープンソース コンポーネントには、多くの構成ファイルが含まれます。たとえば、Apache Spark と Apache Hadoop には XML と書式なしテキストの構成ファイルがいくつか含まれています。gcloud dataproc clusters create コマンドの ‑‑properties フラグを使用すると、クラスタの作成時に、多くの一般的な構成ファイルを変更できます。

書式設定

gcloud dataproc clusters create --properties フラグには、次の文字列形式を指定できます。

file_prefix1:property1=value1,file_prefix2:property2=value2,...

• file_prefix は、次の表に示す定義済みの構成ファイルにマッピングされ、property はファイル内のプロパティにマッピングされます。

• 複数のクラスタ プロパティを区切るために使用されるデフォルトの区切り文字はカンマ（,）です。ただし、プロパティ値にカンマが含まれている場合は、プロパティ リストの先頭に区切り文字「^delimiter^」を指定して区切り文字を変更する必要があります（gcloud トピックのエスケープをご覧ください）。

  • 「#」区切り文字の使用例

    --properties ^#^file_prefix1:property1=part1,part2#file_prefix2:property2=value2
    

例

--properties 'spark:spark.master=spark://example.com'

--properties 'spark:spark.master=spark://example.com,hdfs:dfs.hosts=/foo/bar/baz'

"properties": {
  "spark:spark.executor.memory": "10g"
}

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --properties=spark:spark.executor.memory=10g \
    --log-http \
    other args ...

...
== body start ==
{"clusterName": "my-cluster", "config": {"gceClusterConfig": ...
"masterConfig": {... "softwareConfig": {"properties": {"spark:spark.executor.memory": "10g"}},

...
== body end ==
...

クラスタ プロパティとジョブ プロパティの比較

Apache Hadoop YARN、HDFS、Spark などのファイル接頭辞が付いたプロパティは、クラスタの作成時にクラスタレベルで適用されます。これらのプロパティは、クラスタの作成後にクラスタに適用できません。 ただし、これらのプロパティの多くは特定のジョブにも適用できます。ジョブにプロパティを適用する場合、ファイル接頭辞は使用されません。

次の例では、Spark ジョブの Spark エグゼキュータのメモリを 4G に設定します（spark: 接頭辞は省略）。

gcloud dataproc jobs submit spark \
    --region=REGION \
    --properties=spark.executor.memory=4g \
    other args ...

ジョブのプロパティは、gcloud dataproc jobs submit job-type --properties-file フラグを使用してファイルで送信できます（たとえば、Hadoop ジョブの送信についての --properties-file の説明をご覧ください）。

gcloud dataproc jobs submit JOB_TYPE \
    --region=REGION \
    --properties-file=PROPERTIES_FILE \
    other args ...

PROPERTIES_FILE は、行区切りの key=value ペアのセットです。設定するプロパティは key で、プロパティに設定する値は value です。プロパティ ファイル形式の詳細については、java.util.Properties クラスをご覧ください。

以下は、Dataproc ジョブの送信時に --properties-file フラグに渡すことができるプロパティ ファイルの例です。

 dataproc:conda.env.config.uri=gs://some-bucket/environment.yaml
 spark:spark.history.fs.logDirectory=gs://some-bucket
 spark:spark.eventLog.dir=gs://some-bucket
 capacity-scheduler:yarn.scheduler.capacity.root.adhoc.capacity=5

ファイル プレフィックス付きのプロパティ テーブル

注

• 一部のプロパティは予約され、Dataproc クラスタの機能に影響するため、上書きすることはできません。予約済みのプロパティを変更しようとすると、クラスタを作成するときにエラー メッセージが表示されます。
• 複数の変更を指定する場合は、各変更をカンマで区切ります。
• --properties フラグでは、上記以外の構成ファイルは変更できません。
• プロパティの変更は、クラスタに対するデーモンが起動する前に適用されます。
• 指定したプロパティが存在する場合は、そのプロパティが更新されます。指定したプロパティが存在しない場合は、そのプロパティが構成ファイルに追加されます。

Dataproc サービスのプロパティ

このセクションで示すプロパティは Dataproc に固有のものです。これらのプロパティは、Dataproc クラスタの機能をさらに構成するのに使用できます。

書式設定

gcloud dataproc clusters create --properties フラグには、次の文字列形式を指定できます。

property_prefix1:property1=value1,property_prefix2:property2=value2,...

• 複数のクラスタ プロパティを区切るために使用されるデフォルトの区切り文字はカンマ（,）です。ただし、プロパティ値にカンマが含まれている場合は、プロパティ リストの先頭に区切り文字「^delimiter^」を指定して区切り文字を変更する必要があります（gcloud トピックのエスケープをご覧ください）。

  • 「#」区切り文字の使用例

    --properties ^#^property_prefix1:property1=part1,part2#property_prefix2:property2=value2
    

例:

クラスタを作成して Spark プライマリ ワーカーのシャッフルに [高度な柔軟性モード] を設定します。

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --properties=dataproc:efm.spark.shuffle=primary-worker \
    other args ...

Dataproc サービスのプロパティ テーブル

¹キーストア ファイル: キーストア ファイルには SSL 証明書が含まれています。ファイルの形式は Java KeyStore（JKS）です。VM にコピーされるときに、このファイルの名前は keystore.jks に変更されます。SSL 証明書は、クラスタ内の各ノードに適用されるワイルドカード証明書です。

²トラストストア ファイル: トラストストア ファイルの形式は Java KeyStore（JKS）です。VM にコピーされるときに、このファイルの名前は truststore.jks に変更されます。