Saat Anda membuat cluster, komponen ekosistem Apache Hadoop standar akan otomatis diinstal di cluster (lihat Daftar versi image cluster Dataproc). Anda dapat menginstal komponen tambahan, yang disebut "komponen opsional", di cluster saat membuat cluster. Menambahkan komponen opsional ke cluster mirip dengan menambahkan komponen melalui penggunaan tindakan inisialisasi, tetapi memiliki keuntungan berikut:
- Waktu startup cluster yang lebih cepat
- Menguji kompatibilitas dengan versi Dataproc tertentu
- Penggunaan parameter cluster, bukan skrip tindakan inisialisasi
Komponen opsional yang tersedia
| Komponen opsional | COMPONENT_NAME dalam perintah Google Cloud CLI dan permintaan API |
Versi Gambar | Tahap Rilis |
|---|---|---|---|
| Delta Lake | DELTA | 2.2.46 dan yang lebih baru | GA |
| Docker | DOCKER | 1.5 dan yang lebih baru | GA |
| Flink | FLINK | 1.5 dan yang lebih baru | GA |
| HBase | HBASE | 1.5 dan yang lebih baru (tidak tersedia di 2.1 dan yang lebih baru) |
Beta |
| Hive WebHCat | HIVE_WEBHCAT | 1.3 dan yang lebih baru | GA |
| Hudi | Hudi | 1.5 dan yang lebih baru | GA |
| Iceberg | Iceberg | 2.2 dan yang lebih baru | GA |
| Notebook Jupyter | JUPYTER | 1.3 dan yang lebih baru | GA |
| Presto | PRESTO | 1.3 dan yang lebih baru (tidak tersedia di 2.1 dan yang lebih baru) |
GA |
| Ranger | RANGER | 1.3 dan yang lebih baru | GA |
| Solr | SOLR | 1.3 dan yang lebih baru | GA |
| Trino | TRINO | 2.1 dan yang lebih baru | GA |
| Notebook Zeppelin | ZEPPELIN | 1.3 dan yang lebih baru | GA |
| Zookeeper | ZOOKEEPER | 1.0 dan yang lebih baru | GA |
Menambahkan komponen opsional
Konsol
- Di Google Cloud console, buka halaman Create a cluster Dataproc.
Panel Siapkan cluster dipilih.
- Di bagian Components, pada bagian Optional components, pilih satu atau beberapa komponen untuk diinstal di cluster Anda.
Google Cloud CLI
Untuk membuat cluster Dataproc dan menginstal satu atau beberapa
komponen opsional di cluster, gunakan perintah
gcloud beta dataproc clusters create cluster-name
dengan flag --optional-components.
gcloud dataproc clusters create cluster-name \ --optional-components=COMPONENT-NAME(s) \ ... other flags