Versiones 2.3.x

Componente 2.3.5-debian12/-ubuntu22/-rocky9
2025/07/04		 2.3.4-debian12/-ubuntu22/-rocky9
2025/06/20		 2.3.3-debian12/-ubuntu22/-rocky9
2025/06/09		 2.3.2-debian12/-ubuntu22/-rocky9
2025/06/09
Acción de inicialización de
Apache Atlas		 2.2.0 2.2.0 2.2.0 2.2.0
Apache Flink
componente opcional		 1.17.0 1.17.0 1.17.0 1.17.0
Apache Hadoop
instalado		 3.3.6 3.3.6 3.3.6 3.3.6
Apache Hive
instalado		 3.1.3 3.1.3 3.1.3 3.1.3
Componente opcional de
Apache Hive WebHCat		 3.1.3 3.1.3 3.1.3 3.1.3
Apache Hudi
componente opcional		 0.15.0 0.15.0 0.15.0 0.15.0
Apache Iceberg
componente opcional		 1.6.1 1.6.1 1.6.1 1.6.1
Acción de inicialización de
Apache Kafka		 3.1.0 3.1.0 3.1.0 3.1.0
Apache Pig
componente opcional		 0.18.0-SNAPSHOT 0.18.0-SNAPSHOT 0.18.0-SNAPSHOT 0.18.0-SNAPSHOT
Apache Spark
instalado		 3.5.3 3.5.3 3.5.3 3.5.3
Acción de inicialización de
Apache Sqoop 		1.5.0-SNAPSHOT 1.5.0-SNAPSHOT 1.5.0-SNAPSHOT 1.5.0-SNAPSHOT
Apache Tez
instalado		 0.10.2 0.10.2 0.10.2 0.10.2
Conector de BigQuery
instalado		 0.42.3 0.42.3 0.42.3 0.42.0
Conector de Cloud Storage
instalado		 3.1.0 3.1.0 3.1.0 3.1.0
Conscrypt
instalado		 2.5.2 2.5.2 2.5.2 2.5.2
Delta Lake
componente opcional		 3.2.0 3.2.0 3.2.0 3.2.0
Docker
componente opcional		 28.1 28.1 28.1 28.1
Acción de inicialización de
Hue		 4.11.0 4.11.0 4.11.0 4.11.0
Java
instalado		 11 11 11 11
Componente opcional de
Notebook de JupyterLab		 3.6 3.6 3.6 3.6
Acción de inicialización de
Oozie		 5.2.1 5.2.1 5.2.1 5.2.1
Python
instalado		 micromamba 2.0.5 con Python 3.11 micromamba 2.0.5 con Python 3.11 micromamba 2.0.5 con Python 3.11 micromamba 2.0.5 con Python 3.11
R
instalado		 R 4.3 R 4.3 R 4.3 R 4.3
Componente opcional de
Ranger		 2.4.0 2.4.0 2.4.0 2.4.0
Scala
instalado		 2.12.18 2.12.18 2.12.18 2.12.18
Componente opcional de
Solr		 9.4.1 9.4.1 9.4.1 9.4.1
Trino
componente opcional		 432 432 432 432
Componente opcional de
Notebook de Zeppelin		 0.10.1 0.10.1 0.10.1 0.10.1
Componente opcional de
Zookeeper		 3.9.3 3.9.3 3.9.3 3.9.3

Cambios importantes en la versión 2.3:

  • La versión 2.3 es una imagen liviana que solo contiene componentes principales, lo que reduce la exposición a vulnerabilidades y riesgos comunes (CVE). Para cumplir con requisitos de seguridad más estrictos, usa la versión de imagen 2.3 o posterior cuando crees un clúster de Dataproc.

  • Si eliges instalar componentes opcionales cuando crees un clúster de Dataproc con la imagen 2.3, se descargarán y se instalarán durante la creación del clúster. Esto podría aumentar el tiempo de inicio del clúster. Para evitar esta demora, puedes crear una imagen personalizada con los componentes opcionales preinstalados. Esto se logra ejecutando generate_custom_image.py con la marca --optional-components.

Notas:

  • Los siguientes son los componentes opcionales en las imágenes 2.3:

    • Apache Flink
    • Apache Hive WebHCat
    • Apache Hudi
    • Apache Iceberg
    • Apache Pig
    • Delta Lake
    • Docker
    • Notebook de JupyterLab
    • Ranger
    • Solr
    • Notebook de Zeppelin
    • Zookeeper

  • yarn.nodemanager.recovery.enabled y el registro de auditoría de HDFS están habilitados de forma predeterminada en las imágenes 2.3.

  • micromamba, en lugar de conda en versiones de imágenes anteriores, se instala como parte de la instalación de Python.

  • Problemas de instalación de Docker y Zeppelin:

    • La instalación falla si el clúster no tiene acceso público a Internet. Como solución alternativa, crea un clúster que use una imagen personalizada con componentes opcionales preinstalados. Para ello, ejecuta generate_custom_image.py con la marca --optional-components.
    • La instalación puede fallar si el clúster está fijado en una versión secundaria anterior de la imagen: Los paquetes se instalan a pedido desde repositorios de OSS públicos, y es posible que un paquete no esté disponible de forma upstream para admitir la instalación. Como solución alternativa, crea un clúster que use una imagen personalizada con componentes opcionales preinstalados en la imagen personalizada. Para ello, ejecuta generate_custom_image.py con la marca --optional-components.