Versions 2.3.x

Composant	2.3.6-debian12/-ubuntu22/-rocky9 2025/07/15	2.3.5-debian12/-ubuntu22/-rocky9 2025/07/04	2.3.4-debian12/-ubuntu22/-rocky9 2025/06/20	2.3.3-debian12/-ubuntu22/-rocky9 2025/06/09
Apache Atlas action d'initialisation	2.2.0	2.2.0	2.2.0	2.2.0
Apache Flink composant facultatif	1.17.0	1.17.0	1.17.0	1.17.0
Apache Hadoop installé	3.3.6	3.3.6	3.3.6	3.3.6
Apache Hive installé	3.1.3	3.1.3	3.1.3	3.1.3
Apache Hive WebHCat composant facultatif	3.1.3	3.1.3	3.1.3	3.1.3
Apache Hudi composant facultatif	0.15.0	0.15.0	0.15.0	0.15.0
Apache Iceberg composant facultatif	1.6.1	1.6.1	1.6.1	1.6.1
Apache Kafka action d'initialisation	3.1.0	3.1.0	3.1.0	3.1.0
Apache Pig composant facultatif	0.18.0-SNAPSHOT	0.18.0-SNAPSHOT	0.18.0-SNAPSHOT	0.18.0-SNAPSHOT
Apache Spark installé	3.5.3	3.5.3	3.5.3	3.5.3
Apache Sqoop action d'initialisation	1.5.0-SNAPSHOT	1.5.0-SNAPSHOT	1.5.0-SNAPSHOT	1.5.0-SNAPSHOT
Apache Tez installé	0.10.2	0.10.2	0.10.2	0.10.2
Connecteur BigQuery installé	0.42.3	0.42.3	0.42.3	0.42.3
Connecteur Cloud Storage installé	3.1.0	3.1.0	3.1.0	3.1.0
Conscrypt installé	2.5.2	2.5.2	2.5.2	2.5.2
Delta Lake composant facultatif	3.2.0	3.2.0	3.2.0	3.2.0
Docker composant facultatif	28.1	28.1	28.1	28.1
Hue action d'initialisation	4.11.0	4.11.0	4.11.0	4.11.0
Java installé	11	11	11	11
Notebook JupyterLab composant facultatif	3.6	3.6	3.6	3.6
Oozie action d'initialisation	5.2.1	5.2.1	5.2.1	5.2.1
Python installé	micromamba 2.0.5 avec Python 3.11	micromamba 2.0.5 avec Python 3.11	micromamba 2.0.5 avec Python 3.11	micromamba 2.0.5 avec Python 3.11
R installé	R 4.3	R 4.3	R 4.3	R 4.3
Ranger composant facultatif	2.4.0	2.4.0	2.4.0	2.4.0
Scala installé	2.12.18	2.12.18	2.12.18	2.12.18
Solr composant facultatif	9.4.1	9.4.1	9.4.1	9.4.1
Trino composant facultatif	432	432	432	432
Notebook Zeppelin composant facultatif	0.10.1	0.10.1	0.10.1	0.10.1
Zookeeper composant facultatif	3.9.3	3.9.3	3.9.3	3.9.3

Modifications importantes dans la version 2.3 :

• La version 2.3 est une image légère qui ne contient que les composants de base, ce qui réduit l'exposition aux failles et expositions courantes (CVE). Pour répondre à des exigences de conformité de sécurité plus élevées, utilisez la version d'image 2.3 ou ultérieure lorsque vous créez un cluster Dataproc.

• Si vous choisissez d'installer des composants facultatifs lorsque vous créez un cluster Dataproc avec l'image 2.3, ils seront téléchargés et installés lors de la création du cluster. Cela peut augmenter le temps de démarrage du cluster. Pour éviter ce délai, vous pouvez créer une image personnalisée avec les composants facultatifs préinstallés. Pour ce faire, exécutez generate_custom_image.py avec l'option --optional-components.

Remarques :

• Voici les composants facultatifs des images 2.3 :

  • Apache Flink
  • Apache Hive WebHCat
  • Apache Hudi
  • Apache Iceberg
  • Apache Pig
  • Delta Lake
  • Docker
  • Notebook JupyterLab
  • Ranger
  • Solr
  • Bloc-notes Zeppelin
  • ZooKeeper

• yarn.nodemanager.recovery.enabled et les journaux d'audit HDFS sont activés par défaut dans les images 2.3.

• micromamba, au lieu de conda dans les versions d'image précédentes, est installé dans le cadre de l'installation de Python.

• Problèmes d'installation de Docker et Zeppelin :

  • L'installation échoue si le cluster n'a pas d'accès Internet public. Pour contourner ce problème, créez un cluster qui utilise une image personnalisée avec des composants optionnels préinstallés. Pour ce faire, exécutez generate_custom_image.py avec l'indicateur --optional-components.
  • L'installation peut échouer si le cluster est associé à une ancienne version d'image sous-mineure : les packages sont installés à la demande à partir de dépôts OSS publics, et il est possible qu'un package ne soit pas disponible en amont pour prendre en charge l'installation. Pour contourner ce problème, créez un cluster qui utilise une image personnalisée avec des composants facultatifs préinstallés dans l'image personnalisée. Pour ce faire, exécutez generate_custom_image.py avec l'option --optional-components.