2.3.x 發布版本

元件 2.3.4-debian12/-ubuntu22/-rocky9
2025/06/20
2.3.3-debian12/-ubuntu22/-rocky9
2025/06/09
2.3.2-debian12/-ubuntu22/-rocky9
2025/06/09
2.3.1-debian12/-ubuntu22/-rocky9
2025/06/09
Apache Atlas
初始化動作
2.2.0 2.2.0 2.2.0 2.2.0
Apache Flink
選用元件
1.17.0 1.17.0 1.17.0 1.17.0
已安裝 Apache Hadoop
3.3.6 3.3.6 3.3.6 3.3.6
已安裝 Apache Hive
3.1.3 3.1.3 3.1.3 3.1.3
Apache Hive WebHCat
選用元件
3.1.3 3.1.3 3.1.3 3.1.3
Apache Hudi
選用元件
0.15.0 0.15.0 0.15.0 0.15.0
Apache Iceberg
選用元件
1.6.1 1.6.1 1.6.1 1.6.1
Apache Kafka
初始化動作
3.1.0 3.1.0 3.1.0 3.1.0
Apache Pig
選用元件
0.18.0-SNAPSHOT 0.18.0-SNAPSHOT 0.18.0-SNAPSHOT 0.18.0-SNAPSHOT
Apache Spark
已安裝
3.5.3 3.5.3 3.5.3 3.5.3
Apache Sqoop
初始化動作
1.5.0-SNAPSHOT 1.5.0-SNAPSHOT 1.5.0-SNAPSHOT 1.5.0-SNAPSHOT
Apache Tez
已安裝
0.10.2 0.10.2 0.10.2 0.10.2
BigQuery 連接器
已安裝
0.42.3 0.42.3 0.42.0 0.42.0
Cloud Storage Connector
已安裝
3.1.0 3.1.0 3.1.0 3.1.0
已安裝
Conscrypt
2.5.2 2.5.2 2.5.2 2.5.2
Delta Lake
選用元件
3.2.0 3.2.0 3.2.0 3.2.0
Docker
選用元件
28.1 28.1 28.1 28.1
色調
初始化動作
4.11.0 4.11.0 4.11.0 4.11.0
已安裝
Java
11 11 11 11
JupyterLab Notebook
選用元件
3.6 3.6 3.6 3.6
Oozie
初始化動作
5.2.1 5.2.1 5.2.1 5.2.1
Python
已安裝
micromamba 2.0.5,搭配 Python 3.11 micromamba 2.0.5,搭配 Python 3.11 micromamba 2.0.5,搭配 Python 3.11 micromamba 2.0.5,搭配 Python 3.11
R
installed
R 4.3 R 4.3 R 4.3 R 4.3
Ranger
選用元件
2.4.0 2.4.0 2.4.0 2.4.0
Scala
已安裝
2.12.18 2.12.18 2.12.18 2.12.18
Solr
選用元件
9.4.1 9.4.1 9.4.1 9.4.1
Trino
選用元件
432 432 432 432
Zeppelin Notebook
選用元件
0.10.1 0.10.1 0.10.1 0.10.1
Zookeeper
選用元件
3.9.3 3.9.3 3.9.3 3.9.3

2.3 版的重要異動:

  • 版本 2.3 是輕量型映像檔,只包含核心元件,可減少常見安全漏洞與弱點 (CVE) 的影響。如要符合更高的安全法規要求,請在建立 Dataproc 叢集時,使用 2.3 以上版本的映像檔。

  • 如果您選擇在建立 2.3 映像檔的 Dataproc 叢集時安裝選用元件,系統會在叢集建立期間下載並安裝這些元件。這可能會增加叢集啟動時間。如要避免這種延遲,您可以建立預先安裝選用元件的自訂映像檔。如要達成這個目標,請使用 --optional-components 旗標執行 generate_custom_image.py

注意:

  • 2.3 映像檔的選用元件如下:

    • Apache Flink
    • Apache Hive WebHCat
    • Apache Hudi
    • Apache Iceberg
    • Apache Pig
    • Delta Lake
    • Docker
    • JupyterLab 筆記本
    • Ranger
    • Solr
    • Zeppelin Notebook
    • Zookeeper
  • yarn.nodemanager.recovery.enabled 和 HDFS 稽核記錄在 2.3 版映像檔中預設為啟用。

  • 在先前的映像檔版本中,conda 是 Python 安裝程序的一部分,但現在改為安裝 micromamba。

  • Docker 和 Zeppelin 安裝問題:

    • 如果叢集無法存取公開網際網路,安裝就會失敗。如要解決這個問題,請建立叢集,並使用預先安裝選用元件的自訂映像檔。方法是執行 generate_custom_image.py 並使用 --optional-components 旗標
    • 如果叢集固定使用較舊的次要映像檔版本,安裝作業可能會失敗:系統會從公開 OSS 存放區視需要安裝套件,而上游可能沒有支援安裝作業的套件。如要解決這個問題,請建立叢集,並使用已預先安裝選用元件的自訂映像檔。如要這麼做,請使用 --optional-components 旗標執行 generate_custom_image.py