Komponen Dataproc

Cluster Dataproc memiliki jenis komponen berikut:

  • Komponen yang diinstal: Komponen yang diinstal dalam image dan diaktifkan saat cluster dibuat.

  • Komponen opsional: Komponen yang Anda pilih untuk diinstal dan digunakan di cluster saat Anda membuat cluster. Dataproc menginstal dan mengaktifkan komponen opsional bergantung pada versi image cluster sebagai berikut:

    • 2.2 dan versi gambar sebelumnya: Komponen opsional diinstal secara otomatis. Komponen opsional yang dipilih diaktifkan dan komponen opsional yang tidak dipilih akan di-uninstal saat pembuatan cluster.

    • Versi image 2.3 dan yang lebih baru: Semua komponen opsional diinstal selama pembuatan cluster, kecuali komponen opsional Jupyter, Iceberg, dan Delta Lake, yang telah diinstal sebelumnya di versi image 2.3 dan yang lebih baru. Komponen opsional yang telah diinstal sebelumnya dihapus dari cluster versi image 2.3 atau yang lebih baru jika tidak diaktifkan saat cluster dibuat. Untuk mengetahui informasi selengkapnya, lihat Versi rilis Dataproc 2.3.x.

  • Komponen tindakan inisialisasi: Komponen yang diinstal pada cluster sebagai bagian dari tindakan inisialisasi yang Anda tentukan saat membuat cluster.

Komponen opsional diinstal pada cluster sebelum tindakan inisialisasi dijalankan di cluster.

Halaman versi image Dataproc mencantumkan komponen dan jenis komponen yang tersedia dalam rilis image Dataproc terbaru.

Komponen opsional memiliki keuntungan berikut dibandingkan tindakan inisialisasi yang digunakan untuk menginstal komponen:

  • Komponen opsional diuji agar kompatibel dengan versi Dataproc tertentu.
  • Komponen opsional diaktifkan dengan parameter pembuatan cluster; tindakan inisialisasi memerlukan skrip.

Komponen opsional yang tersedia

Komponen opsional Nama komponen
dalam perintah Google Cloud CLI dan permintaan API		 Versi Gambar Tahap Rilis
Delta Lake DELTA 2.2.46 dan yang lebih baru GA
Docker DOCKER 1.5 dan yang lebih baru GA
Flink FLINK 1.5 dan yang lebih baru GA
HBase HBASE 1.5 dan yang lebih baru
(tidak tersedia di 2.1 dan yang lebih baru) 		Tidak digunakan lagi
Hive WebHCat HIVE_WEBHCAT 1.3 dan yang lebih baru GA
Hudi HUDI 1.5 dan yang lebih baru GA
Iceberg ICEBERG 2.2 dan yang lebih baru GA
Jupyter Notebook JUPYTER 1.3 dan yang lebih baru GA
Pig PIG 1.5* dan yang lebih baru GA
Presto PRESTO 1.3 dan yang lebih baru
(tidak tersedia di 2.1 dan yang lebih baru) 		GA
Ranger RANGER 1.3 dan yang lebih baru GA
Solr SOLR 1.3 dan yang lebih baru GA
Trino TRINO 2.1 dan yang lebih baru GA
Zeppelin Notebook ZEPPELIN 1.3 dan yang lebih baru GA
Penjaga kebun binatang ZOOKEEPER 1.0 dan yang lebih baru GA

Catatan:

  • Apache Pig adalah komponen opsional dalam versi image 2.3 dan yang lebih baru. Aplikasi ini telah diinstal sebelumnya di 2.2 dan versi image yang lebih lama.

Menambahkan komponen opsional

Konsol

  1. Di konsol Google Cloud , buka halaman Create a cluster Dataproc.

    Buka Membuat cluster

    Panel Set up cluster dipilih.

  2. Di bagian Components, di bagian Optional components, pilih satu atau beberapa komponen yang akan diinstal di cluster Anda.

Google Cloud CLI

Untuk membuat cluster Dataproc dan menginstal satu atau beberapa komponen opsional di cluster, gunakan perintah gcloud beta dataproc clusters create cluster-name dengan tanda --optional-components.

gcloud dataproc clusters create CLUSTER_NAME \
  --optional-components=COMPONENT-NAME(s) \
  ... other flags

REST API

Komponen opsional dapat ditentukan melalui Dataproc API menggunakan SoftwareConfig.Component sebagai bagian dari permintaan clusters.create.