Properti cluster

Apache Hadoop YARN, HDFS, Spark, dan properti terkait

Komponen open source yang diinstal pada cluster Dataproc berisi banyak file konfigurasi. Misalnya, Apache Spark dan Apache Hadoop memiliki beberapa file konfigurasi XML dan teks biasa. Anda dapat menggunakan flag ‑‑properties dari perintah gcloud dataproc clusters create untuk mengubah banyak file konfigurasi umum saat membuat cluster.

Pemformatan

Flag gcloud dataproc clusters create --properties menerima format string berikut:

file_prefix1:property1=value1,file_prefix2:property2=value2,...

• file_prefix dipetakan ke file konfigurasi yang telah ditentukan sebelumnya seperti yang ditunjukkan dalam tabel di bawah, dan property dipetakan ke properti dalam file.

• Pembatas default yang digunakan untuk memisahkan beberapa properti cluster adalah koma (,). Namun, jika koma disertakan dalam nilai properti, Anda harus mengubah pembatas dengan menentukan "^delimiter^" di awal daftar properti (lihat gcloud topic escaping untuk informasi selengkapnya).

  • Contoh menggunakan pemisah "#":

    --properties ^#^file_prefix1:property1=part1,part2#file_prefix2:property2=value2
    

Contoh

--properties 'spark:spark.master=spark://example.com'

--properties 'spark:spark.master=spark://example.com,hdfs:dfs.hosts=/foo/bar/baz'

"properties": {
  "spark:spark.executor.memory": "10g"
}

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --properties=spark:spark.executor.memory=10g \
    --log-http \
    other args ...

...
== body start ==
{"clusterName": "my-cluster", "config": {"gceClusterConfig": ...
"masterConfig": {... "softwareConfig": {"properties": {"spark:spark.executor.memory": "10g"}},

...
== body end ==
...

Properti cluster vs. tugas

Properti yang diawali dengan file Apache Hadoop YARN, HDFS, Spark, dan lainnya diterapkan di tingkat cluster saat Anda membuat cluster. Properti ini tidak dapat diterapkan ke cluster setelah pembuatan cluster. Namun, banyak properti ini juga dapat diterapkan ke tugas tertentu. Saat menerapkan properti ke tugas, awalan file tidak digunakan.

Contoh berikut menetapkan memori executor Spark ke 4g untuk tugas Spark (awalan spark: dihilangkan).

gcloud dataproc jobs submit spark \
    --region=REGION \
    --properties=spark.executor.memory=4g \
    other args ...

Properti tugas dapat dikirimkan dalam file menggunakan flag gcloud dataproc jobs submit job-type --properties-file (lihat, misalnya, deskripsi --properties-file untuk pengiriman tugas Hadoop).

gcloud dataproc jobs submit JOB_TYPE \
    --region=REGION \
    --properties-file=PROPERTIES_FILE \
    other args ...

PROPERTIES_FILE adalah serangkaian pasangan key=value yang dibatasi baris. Properti yang akan ditetapkan adalah key, dan nilai untuk menetapkan properti adalah value. Lihat class java.util.Properties untuk mengetahui deskripsi mendetail tentang format file properti.

Berikut adalah contoh file properti yang dapat diteruskan ke tanda --properties-file saat mengirimkan tugas Dataproc.

 dataproc:conda.env.config.uri=gs://some-bucket/environment.yaml
 spark:spark.history.fs.logDirectory=gs://some-bucket
 spark:spark.eventLog.dir=gs://some-bucket
 capacity-scheduler:yarn.scheduler.capacity.root.adhoc.capacity=5

Tabel properti berawalan file

Catatan

• Beberapa properti dicadangkan dan tidak dapat diganti karena memengaruhi fungsi cluster Dataproc. Jika Anda mencoba mengubah properti yang dicadangkan, Anda akan menerima pesan error saat membuat cluster.
• Anda dapat menentukan beberapa perubahan dengan memisahkan setiap perubahan menggunakan koma.
• Flag --properties tidak dapat mengubah file konfigurasi yang tidak ditampilkan di atas.
• Perubahan pada properti akan diterapkan sebelum daemon di cluster Anda dimulai.
• Jika properti yang ditentukan ada, properti tersebut akan diperbarui. Jika properti yang ditentukan tidak ada, properti tersebut akan ditambahkan ke file konfigurasi.

Properti layanan Dataproc

Properti yang tercantum di bagian ini khusus untuk Dataproc. Properti ini dapat digunakan untuk mengonfigurasi lebih lanjut fungsi cluster Dataproc Anda.

Pemformatan

Flag gcloud dataproc clusters create --properties menerima format string berikut:

property_prefix1:property1=value1,property_prefix2:property2=value2,...

• Pembatas default yang digunakan untuk memisahkan beberapa properti cluster adalah koma (,). Namun, jika koma disertakan dalam nilai properti, Anda harus mengubah pembatas dengan menentukan "^delimiter^" di awal daftar properti (lihat escaping topik gcloud untuk mengetahui informasi selengkapnya).

  • Contoh menggunakan pemisah "#":

    --properties ^#^property_prefix1:property1=part1,part2#property_prefix2:property2=value2
    

Contoh:

Buat cluster dan tetapkan Mode Fleksibilitas yang Ditingkatkan ke pengacakan pekerja utama Spark.

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --properties=dataproc:efm.spark.shuffle=primary-worker \
    other args ...

Tabel properti layanan Dataproc

¹File keystore: File keystore berisi sertifikat SSL. File harus dalam format Java KeyStore (JKS). Saat disalin ke VM, file tersebut akan diganti namanya menjadi keystore.jks. Sertifikat SSL harus berupa sertifikat pengganti yang berlaku untuk setiap node dalam cluster.

²File truststore: File truststore harus dalam format Java KeyStore (JKS). Saat disalin ke VM, file tersebut akan diganti namanya menjadi truststore.jks.