Spark 引擎 3.5
| 元件 | 3.5-dataproc-22 | 3.5-dataproc-17 |
|---|---|---|
| Apache Spark | 3.5.0 | 3.5.0 |
| Hadoop 程式庫 | 3.3.6 | 3.3.6 |
| Cloud Storage 連接器 | 3.0.0 | 3.0.0 |
| Java | 11 | 11 |
| Python | 3.8.5 | 3.8.5 |
| Conda | 4.9.2 | 4.9.2 |
| R | 4.3.0 | 4.3.0 |
Spark 引擎 3.1(已淘汰)
| 元件 | 3.1-dataproc-17 | 3.1-dataproc-16 | 3.1-dataproc-15 | 3.1-dataproc-14 |
|---|---|---|---|---|
| Apache Spark | 3.1.3 | 3.1.3 | 3.1.3 | 3.1.3 |
| Hadoop 程式庫 | 3.2.3 | 3.2.3 | 3.2.3 | 3.2.3 |
| Cloud Storage 連接器 | hadoop3-2.2.13 | hadoop3-2.2.13 | hadoop3-2.2.11 | hadoop3-2.2.11 |
| Java | 8 | 8 | 8 | 8 |
| Python | 3.8.5 | 3.8.5 | 3.8.5 | 3.8.5 |
| Conda | 4.9.2 | 23.5.0 | 4.9.2 | 4.9.2 |
| R | 4.3.0 | 4.3.0 | 4.2.3 | 4.2.3 |
Spark 引擎 2.4(已淘汰)
DPGKE 已停止支援 Spark 2.4。公開映像檔仍可使用，但不會再提供支援。
| 元件 | 2.4-dataproc-17 | 2.4-dataproc-16 | 2.4-dataproc-15 | 2.4-dataproc-14 |
|---|---|---|---|---|
| Apache Spark | 2.4.8 | 2.4.8 | 2.4.8 | 2.4.8 |
| Hadoop 程式庫 | 2.10.2 | 2.10.2 | 2.10.2 | 2.10.2 |
| Cloud Storage 連接器 | hadoop2-2.1.9 | hadoop2-2.1.9 | hadoop2-2.1.9 | hadoop2-2.1.9 |
| Java | 8 | 8 | 8 | 8 |
| Python | 3.7.4 | 3.7.4 | 3.7.4 | 3.7.4 |
| Conda | 4.7.12 | 22.11.1 | 22.11.1 | 22.1.0 |
| R | 3.6.3 | 3.6.3 | 3.6.3 | 3.6.3 |
Dataproc on GKE 的 Spark 版本格式
Spark 引擎的完整版本表示方式為 3.1-dataproc-[NUMBER] 或 3.5-dataproc-[NUMBER]，例如 3.1-dataproc-17 或 3.5-dataproc-17。
Spark 版本格式也可以別名形式表示，如下列範例所示：
3- 最新版 Spark 引擎，Spark 主要版本為 3。3.5- 最新版 Spark 引擎，Spark 主要/次要版本為 3.5。dataproc-2.2- 與 Dataproc on Compute Engine2.2映像檔相容的最新版 Spark 引擎。latest- 最新版 Spark 引擎。