Versiones de actualización de Dataproc on GKE

Spark Engine 3.5

Componente 3.5-dataproc-22 3.5-dataproc-17
Apache Spark 3.5.0 3.5.0
Bibliotecas de Hadoop 3.3.6 3.3.6
Conector de Cloud Storage 3.0.0 3.0.0
Java 11 11
Python 3.8.5 3.8.5
Conda 4.9.2 4.9.2
R 4.3.0 4.3.0

Motor de Spark 3.1(obsoleto)

Componente 3.1-dataproc-17 3.1-dataproc-16 3.1-dataproc-15 3.1-dataproc-14
Apache Spark 3.1.3 3.1.3 3.1.3 3.1.3
Bibliotecas de Hadoop 3.2.3 3.2.3 3.2.3 3.2.3
Conector de Cloud Storage hadoop3-2.2.13 hadoop3-2.2.13 hadoop3-2.2.11 hadoop3-2.2.11
Java 8 8 8 8
Python 3.8.5 3.8.5 3.8.5 3.8.5
Conda 4.9.2 23.5.0 4.9.2 4.9.2
R 4.3.0 4.3.0 4.2.3 4.2.3

Motor de Spark 2.4(obsoleto)

Spark 2.4 alcanzó el EOL para la compatibilidad con DPGKE. La imagen pública seguirá disponible sin más asistencia.

Componente 2.4-dataproc-17 2.4-dataproc-16 2.4-dataproc-15 2.4-dataproc-14
Apache Spark 2.4.8 2.4.8 2.4.8 2.4.8
Bibliotecas de Hadoop 2.10.2 2.10.2 2.10.2 2.10.2
Conector de Cloud Storage hadoop2-2.1.9 hadoop2-2.1.9 hadoop2-2.1.9 hadoop2-2.1.9
Java 8 8 8 8
Python 3.7.4 3.7.4 3.7.4 3.7.4
Conda 4.7.12 22.11.1 22.11.1 22.1.0
R 3.6.3 3.6.3 3.6.3 3.6.3

Formatos de versión de Spark en Dataproc en GKE

Una versión de actualización del motor de Spark completamente calificada se expresa como 3.1-dataproc-[NUMBER] o 3.5-dataproc-[NUMBER], por ejemplo, 3.1-dataproc-17 o 3.5-dataproc-17.

Los formatos de versión de Spark también se pueden expresar en forma de alias, como se muestra en los siguientes ejemplos:

  • 3: Es la versión más reciente del motor de Spark con una versión principal de Spark 3.
  • 3.5: Es la versión más reciente del motor de Spark con una versión principal y secundaria de Spark 3.5.
  • dataproc-2.2: Es la versión más reciente del motor de Spark que es compatible con Dataproc en imágenes 2.2 de Compute Engine.
  • latest: Es la versión más reciente del motor de Spark.