Dataproc on GKE 發布版本

Spark 引擎 3.5

元件	3.5-dataproc-22	3.5-dataproc-17
Apache Spark	3.5.0	3.5.0
Hadoop 程式庫	3.3.6	3.3.6
Cloud Storage 連接器	3.0.0	3.0.0
Java	11	11
Python	3.8.5	3.8.5
Conda	4.9.2	4.9.2
R	4.3.0	4.3.0

Spark 引擎 3.1(已淘汰)

元件	3.1-dataproc-17	3.1-dataproc-16	3.1-dataproc-15	3.1-dataproc-14
Apache Spark	3.1.3	3.1.3	3.1.3	3.1.3
Hadoop 程式庫	3.2.3	3.2.3	3.2.3	3.2.3
Cloud Storage 連接器	hadoop3-2.2.13	hadoop3-2.2.13	hadoop3-2.2.11	hadoop3-2.2.11
Java	8	8	8	8
Python	3.8.5	3.8.5	3.8.5	3.8.5
Conda	4.9.2	23.5.0	4.9.2	4.9.2
R	4.3.0	4.3.0	4.2.3	4.2.3

Spark 引擎 2.4(已淘汰)

DPGKE 已停止支援 Spark 2.4。公開映像檔仍可使用，但不會再提供支援。

元件	2.4-dataproc-17	2.4-dataproc-16	2.4-dataproc-15	2.4-dataproc-14
Apache Spark	2.4.8	2.4.8	2.4.8	2.4.8
Hadoop 程式庫	2.10.2	2.10.2	2.10.2	2.10.2
Cloud Storage 連接器	hadoop2-2.1.9	hadoop2-2.1.9	hadoop2-2.1.9	hadoop2-2.1.9
Java	8	8	8	8
Python	3.7.4	3.7.4	3.7.4	3.7.4
Conda	4.7.12	22.11.1	22.11.1	22.1.0
R	3.6.3	3.6.3	3.6.3	3.6.3

Dataproc on GKE 的 Spark 版本格式

Spark 引擎的完整版本表示方式為 3.1-dataproc-[NUMBER] 或 3.5-dataproc-[NUMBER]，例如 3.1-dataproc-17 或 3.5-dataproc-17。

Spark 版本格式也可以別名形式表示，如下列範例所示：

• 3 - 最新版 Spark 引擎，Spark 主要版本為 3。
• 3.5 - 最新版 Spark 引擎，Spark 主要/次要版本為 3.5。
• dataproc-2.2 - 與 Dataproc on Compute Engine 2.2 映像檔相容的最新版 Spark 引擎。
• latest - 最新版 Spark 引擎。