Versi rilis 2.3.x

Komponen 2.3.6-debian12/-ubuntu22/-rocky9
2025/07/15		 2.3.5-debian12/-ubuntu22/-rocky9
2025/07/04		 2.3.4-debian12/-ubuntu22/-rocky9
2025/06/20		 2.3.3-debian12/-ubuntu22/-rocky9
2025/06/09
Tindakan inisialisasi Apache Atlas
 2.2.0 2.2.0 2.2.0 2.2.0
Komponen opsional Apache Flink
 1.17.0 1.17.0 1.17.0 1.17.0
Apache Hadoop
terinstal		 3.3.6 3.3.6 3.3.6 3.3.6
Apache Hive
yang diinstal		 3.1.3 3.1.3 3.1.3 3.1.3
Apache Hive WebHCat
komponen opsional		 3.1.3 3.1.3 3.1.3 3.1.3
Apache Hudi
komponen opsional		 0.15.0 0.15.0 0.15.0 0.15.0
Apache Iceberg
komponen opsional		 1.6.1 1.6.1 1.6.1 1.6.1
Tindakan inisialisasi
Apache Kafka		 3.1.0 3.1.0 3.1.0 3.1.0
Apache Pig
komponen opsional		 0.18.0-SNAPSHOT 0.18.0-SNAPSHOT 0.18.0-SNAPSHOT 0.18.0-SNAPSHOT
Apache Spark
terinstal		 3.5.3 3.5.3 3.5.3 3.5.3
Tindakan inisialisasi Apache Sqoop
 		1.5.0-SNAPSHOT 1.5.0-SNAPSHOT 1.5.0-SNAPSHOT 1.5.0-SNAPSHOT
Apache Tez
terinstal		 0.10.2 0.10.2 0.10.2 0.10.2
Konektor BigQuery
terinstal		 0.42.3 0.42.3 0.42.3 0.42.3
Cloud Storage Connector
terinstal		 3.1.0 3.1.0 3.1.0 3.1.0
Conscrypt
diinstal		 2.5.2 2.5.2 2.5.2 2.5.2
Delta Lake
opsional komponen		 3.2.0 3.2.0 3.2.0 3.2.0
Docker
opsional komponen		 28.1 28.1 28.1 28.1
Tindakan inisialisasi
Hue		 4.11.0 4.11.0 4.11.0 4.11.0
Java
terinstal		 11 11 11 11
Komponen opsional
JupyterLab Notebook		 3.6 3.6 3.6 3.6
Tindakan inisialisasi Oozie
 5.2.1 5.2.1 5.2.1 5.2.1
Python
terinstal		 micromamba 2.0.5 dengan Python 3.11 micromamba 2.0.5 dengan Python 3.11 micromamba 2.0.5 dengan Python 3.11 micromamba 2.0.5 dengan Python 3.11
R
terpasang		 R 4.3 R 4.3 R 4.3 R 4.3
Ranger
komponen opsional		 2.4.0 2.4.0 2.4.0 2.4.0
Scala
terinstal		 2.12.18 2.12.18 2.12.18 2.12.18
Solr
komponen opsional		 9.4.1 9.4.1 9.4.1 9.4.1
Trino
Trino		 432 432 432 432
Komponen opsional Zeppelin Notebook
 0.10.1 0.10.1 0.10.1 0.10.1
Zookeeper
komponen opsional		 3.9.3 3.9.3 3.9.3 3.9.3

Perubahan penting di 2.3:

  • Versi 2.3 adalah image ringan yang hanya berisi komponen inti, sehingga mengurangi eksposur terhadap Common Vulnerabilities and Exposures (CVE). Untuk persyaratan kepatuhan keamanan yang lebih tinggi, gunakan versi image 2.3atau yang lebih baru saat membuat cluster Dataproc.

  • Jika Anda memilih untuk menginstal komponen opsional saat membuat cluster Dataproc dengan image 2.3, komponen tersebut akan didownload dan diinstal selama pembuatan cluster. Hal ini dapat meningkatkan waktu startup cluster. Untuk menghindari penundaan ini, Anda dapat membuat image kustom dengan komponen opsional yang sudah diinstal sebelumnya. Hal ini dapat dilakukan dengan menjalankan generate_custom_image.py dengan tanda --optional-components.

Catatan:

  • Berikut adalah komponen opsional dalam image 2.3:

    • Apache Flink
    • Apache Hive WebHCat
    • Apache Hudi
    • Apache Iceberg
    • Apache Pig
    • Delta Lake
    • Docker
    • Notebook JupyterLab
    • Ranger
    • Solr
    • Zeppelin Notebook
    • Zookeeper

  • yarn.nodemanager.recovery.enabled dan HDFS Audit Logging diaktifkan secara default di image 2.3.

  • micromamba, bukan conda di versi image sebelumnya, diinstal sebagai bagian dari penginstalan Python.

  • Masalah penginstalan Docker dan Zeppelin:

    • Penginstalan akan gagal jika cluster tidak memiliki akses internet publik. Sebagai solusi, buat cluster yang menggunakan image kustom dengan komponen opsional yang sudah diinstal sebelumnya. Anda dapat melakukannya dengan menjalankan generate_custom_image.py dengan flag --optional-components.
    • Penginstalan dapat gagal jika cluster disematkan ke versi image sub-minor yang lebih lama: Paket diinstal sesuai permintaan dari repositori OSS publik, dan paket mungkin tidak tersedia di upstream untuk mendukung penginstalan. Sebagai solusi sementara, buat cluster yang menggunakan image kustom dengan komponen opsional yang sudah diinstal sebelumnya di image kustom. Untuk melakukannya, jalankan generate_custom_image.py dengan flag --optional-components.