Versões de lançamento 2.3.x

Componente 2.3.6-debian12/-ubuntu22/-rocky9
2025/07/15		 2.3.5-debian12/-ubuntu22/-rocky9
2025/07/04		 2.3.4-debian12/-ubuntu22/-rocky9
2025/06/20		 2.3.3-debian12/-ubuntu22/-rocky9
2025/06/09
Apache Atlas
ação de inicialização		 2.2.0 2.2.0 2.2.0 2.2.0
Apache Flink
componente opcional		 1.17.0 1.17.0 1.17.0 1.17.0
Apache Hadoop
instalado		 3.3.6 3.3.6 3.3.6 3.3.6
Apache Hive
instalado		 3.1.3 3.1.3 3.1.3 3.1.3
Apache Hive WebHCat
componente opcional		 3.1.3 3.1.3 3.1.3 3.1.3
Apache Hudi
componente opcional		 0.15.0 0.15.0 0.15.0 0.15.0
Apache Iceberg
componente opcional		 1.6.1 1.6.1 1.6.1 1.6.1
Apache Kafka
ação de inicialização		 3.1.0 3.1.0 3.1.0 3.1.0
Apache Pig
componente opcional		 0.18.0-SNAPSHOT 0.18.0-SNAPSHOT 0.18.0-SNAPSHOT 0.18.0-SNAPSHOT
Apache Spark
instalado		 3.5.3 3.5.3 3.5.3 3.5.3
Ação de inicialização do
Apache Sqoop 		1.5.0-SNAPSHOT 1.5.0-SNAPSHOT 1.5.0-SNAPSHOT 1.5.0-SNAPSHOT
Apache Tez
instalado		 0.10.2 0.10.2 0.10.2 0.10.2
Conector do BigQuery
instalado		 0.42.3 0.42.3 0.42.3 0.42.3
Cloud Storage Connector
instalado		 3.1.0 3.1.0 3.1.0 3.1.0
Conscrypt
instalado		 2.5.2 2.5.2 2.5.2 2.5.2
Delta Lake
componente opcional		 3.2.0 3.2.0 3.2.0 3.2.0
Docker
componente opcional		 28.1 28.1 28.1 28.1
Hue
ação de inicialização		 4.11.0 4.11.0 4.11.0 4.11.0
Java
instalado		 11 11 11 11
Notebook JupyterLab
componente opcional		 3.6 3.6 3.6 3.6
Oozie
ação de inicialização		 5.2.1 5.2.1 5.2.1 5.2.1
Python
instalado		 micromamba 2.0.5 com Python 3.11 micromamba 2.0.5 com Python 3.11 micromamba 2.0.5 com Python 3.11 micromamba 2.0.5 com Python 3.11
R
instalado		 R 4.3 R 4.3 R 4.3 R 4.3
Ranger
componente opcional		 2.4.0 2.4.0 2.4.0 2.4.0
Scala
instalado		 2.12.18 2.12.18 2.12.18 2.12.18
Solr
componente opcional		 9.4.1 9.4.1 9.4.1 9.4.1
Trino
componente opcional		 432 432 432 432
Notebook Zeppelin
componente opcional		 0.10.1 0.10.1 0.10.1 0.10.1
Zookeeper
componente opcional		 3.9.3 3.9.3 3.9.3 3.9.3

Mudanças importantes na versão 2.3:

  • A versão 2.3 é uma imagem leve que contém apenas componentes principais, reduzindo a exposição a vulnerabilidades e exposições comuns (CVEs). Para requisitos de conformidade de segurança mais altos, use a versão da imagem 2.3 ou mais recente ao criar um cluster do Dataproc.

  • Se você optar por instalar componentes opcionais ao criar um cluster do Dataproc com a imagem 2.3, eles serão baixados e instalados durante a criação do cluster. Isso pode aumentar o tempo de inicialização do cluster. Para evitar esse atraso, crie uma imagem personalizada com os componentes opcionais pré-instalados. Para isso, execute generate_custom_image.py com a flag --optional-components.

Observações:

  • Estes são os componentes opcionais nas imagens 2.3:

    • Apache Flink
    • Apache Hive WebHCat
    • Apache Hudi
    • Apache Iceberg
    • Apache Pig
    • Delta Lake
    • Docker
    • Notebook do JupyterLab
    • Ranger
    • Solr
    • Zeppelin Notebook
    • Zookeeper

  • O yarn.nodemanager.recovery.enabled e o HDFS Audit Logging são ativados por padrão nas imagens 2.3.

  • O micromamba, em vez do conda nas versões de imagem anteriores, é instalado como parte da instalação do Python.

  • Problemas de instalação do Docker e do Zeppelin:

    • A instalação falha se o cluster não tiver acesso público à Internet. Como solução alternativa, crie um cluster que use uma imagem personalizada com componentes opcionais pré-instalados. Para isso, execute generate_custom_image.py com a flag --optional-components.
    • A instalação pode falhar se o cluster estiver fixado em uma versão mais antiga de imagem subalterna. Os pacotes são instalados sob demanda de repositórios OSS públicos, e um pacote pode não estar disponível upstream para oferecer suporte à instalação. Como alternativa, crie um cluster que use uma imagem personalizada com componentes opcionais pré-instalados. Para fazer isso, execute generate_custom_image.py com a flag --optional-components.