Cluster node tunggal

Cluster node tunggal adalah cluster Dataproc dengan hanya satu node. Satu node ini berfungsi sebagai master dan worker untuk cluster Dataproc Anda. Meskipun cluster node tunggal hanya memiliki satu node, sebagian besar konsep dan fitur Dataproc tetap berlaku, kecuali yang tercantum di bawah.

Ada sejumlah situasi saat cluster Dataproc node tunggal dapat berguna, termasuk:

• Mencoba versi baru Spark dan Hadoop atau komponen open source lainnya
• Membangun demonstrasi bukti konsep (PoC)
• Data science ringan
• Pemrosesan data tidak penting skala kecil
• Edukasi terkait ekosistem Spark dan Hadoop

Semantik cluster node tunggal

Semantik berikut berlaku untuk cluster Dataproc node tunggal:

• Cluster node tunggal dikonfigurasi sama seperti cluster Dataproc multi-node, dan mencakup layanan seperti HDFS dan YARN.
• Cluster satu node dilaporkan sebagai node master untuk tindakan inisialisasi.
• Cluster node tunggal menampilkan 0 pekerja karena node tunggal bertindak sebagai master dan pekerja.
• Cluster node tunggal diberi nama host yang mengikuti pola clustername-m. Anda dapat menggunakan nama host ini untuk melakukan SSH ke atau terhubung ke UI web di node.
• Cluster node tunggal tidak dapat diupgrade ke cluster multi-node. Setelah dibuat, cluster node tunggal dibatasi hingga satu node. Demikian pula, cluster multi-node tidak dapat di-downscale menjadi cluster node tunggal.

Batasan

• Cluster node tunggal tidak direkomendasikan untuk pemrosesan data paralel skala besar. Jika Anda melebihi resource pada cluster satu node, sebaiknya gunakan cluster Dataproc multi-node.

• Cluster node tunggal tidak tersedia dengan ketersediaan tinggi karena hanya ada satu node dalam cluster.

• Cluster node tunggal tidak dapat menggunakan preemptible VM.

Membuat cluster node tunggal

gcloud dataproc clusters create cluster-name \
    --region=region \
    --single-node \
    ... other args