Dataproc on GKE 发布版本

Spark Engine 3.5

组件 3.5-dataproc-22 3.5-dataproc-17
Apache Spark 3.5.0 3.5.0
Hadoop 库 3.3.6 3.3.6
Cloud Storage 连接器 3.0.0 3.0.0
Java 11 11
Python 3.8.5 3.8.5
Conda 4.9.2 4.9.2
R 4.3.0 4.3.0

Spark Engine 3.1（已弃用）

组件 3.1-dataproc-17 3.1-dataproc-16 3.1-dataproc-15 3.1-dataproc-14
Apache Spark 3.1.3 3.1.3 3.1.3 3.1.3
Hadoop 库 3.2.3 3.2.3 3.2.3 3.2.3
Cloud Storage 连接器 hadoop3-2.2.13 hadoop3-2.2.13 hadoop3-2.2.11 hadoop3-2.2.11
Java 8 8 8 8
Python 3.8.5 3.8.5 3.8.5 3.8.5
Conda 4.9.2 23.5.0 4.9.2 4.9.2
R 4.3.0 4.3.0 4.2.3 4.2.3

Spark Engine 2.4（已弃用）

Spark 2.4 在 DPGKE 中已达到支持服务终止 (EOL) 期限。公共映像仍可使用，但不再提供任何后续支持。

组件 2.4-dataproc-17 2.4-dataproc-16 2.4-dataproc-15 2.4-dataproc-14
Apache Spark 2.4.8 2.4.8 2.4.8 2.4.8
Hadoop 库 2.10.2 2.10.2 2.10.2 2.10.2
Cloud Storage 连接器 hadoop2-2.1.9 hadoop2-2.1.9 hadoop2-2.1.9 hadoop2-2.1.9
Java 8 8 8 8
Python 3.7.4 3.7.4 3.7.4 3.7.4
Conda 4.7.12 22.11.1 22.11.1 22.1.0
R 3.6.3 3.6.3 3.6.3 3.6.3

Dataproc on GKE 上的 Spark 版本格式

完全限定的 Spark 引擎发布版本表示为：3.1-dataproc-[NUMBER] 或 3.5-dataproc-[NUMBER]，例如 3.1-dataproc-17 或 3.5-dataproc-17。

Spark 版本格式也可以采用别名形式，如以下示例所示：

  • 3 - Spark 引擎的最新版本，Spark 主要版本为 3。
  • 3.5 - Spark 引擎的最新版本，Spark 主要版本.次要版本为 3.5。
  • dataproc-2.2 - 与 Dataproc on Compute Engine 2.2 映像兼容的 Spark 引擎的最新版本。
  • latest - Spark 引擎的最新版本。