Releaseversionen 2.3.x

Komponente 2.3.6-debian12/-ubuntu22/-rocky9
2025/07/15		 2.3.5-debian12/-ubuntu22/-rocky9
2025/07/04		 2.3.4-debian12/-ubuntu22/-rocky9
2025/06/20		 2.3.3-debian12/-ubuntu22/-rocky9
2025/06/09
Apache Atlas
Initialisierungsaktion		 2.2.0 2.2.0 2.2.0 2.2.0
Apache Flink
optionale Komponente		 1.17.0 1.17.0 1.17.0 1.17.0
Apache Hadoop
installiert		 3.3.6 3.3.6 3.3.6 3.3.6
Apache Hive
installiert		 3.1.3 3.1.3 3.1.3 3.1.3
Apache Hive WebHCat
optionale Komponente		 3.1.3 3.1.3 3.1.3 3.1.3
Apache Hudi
optionale Komponente		 0.15.0 0.15.0 0.15.0 0.15.0
Apache Iceberg
optionale Komponente		 1.6.1 1.6.1 1.6.1 1.6.1
Apache Kafka
Initialisierungsaktion		 3.1.0 3.1.0 3.1.0 3.1.0
Apache Pig
optionale Komponente		 0.18.0-SNAPSHOT 0.18.0-SNAPSHOT 0.18.0-SNAPSHOT 0.18.0-SNAPSHOT
Apache Spark
installiert		 3.5.3 3.5.3 3.5.3 3.5.3
Apache Sqoop
Initialisierungsaktion 		1.5.0-SNAPSHOT 1.5.0-SNAPSHOT 1.5.0-SNAPSHOT 1.5.0-SNAPSHOT
Apache Tez
installiert		 0.10.2 0.10.2 0.10.2 0.10.2
BigQuery Connector
installiert		 0.42.3 0.42.3 0.42.3 0.42.3
Cloud Storage-Connector
installiert		 3.1.0 3.1.0 3.1.0 3.1.0
Conscrypt
installiert		 2.5.2 2.5.2 2.5.2 2.5.2
Delta Lake
optionale Komponente		 3.2.0 3.2.0 3.2.0 3.2.0
Docker
optionale Komponente		 28.1 28.1 28.1 28.1
Hue
Initialisierungsaktion		 4.11.0 4.11.0 4.11.0 4.11.0
Java
installed		 11 11 11 11
JupyterLab Notebook
optionale Komponente		 3.6 3.6 3.6 3.6
Oozie
Initialisierungsaktion		 5.2.1 5.2.1 5.2.1 5.2.1
Python
installiert		 micromamba 2.0.5 mit Python 3.11 micromamba 2.0.5 mit Python 3.11 micromamba 2.0.5 mit Python 3.11 micromamba 2.0.5 mit Python 3.11
R
installiert		 R 4.3 R 4.3 R 4.3 R 4.3
Ranger
optionale Komponente		 2.4.0 2.4.0 2.4.0 2.4.0
Scala
installiert		 2.12.18 2.12.18 2.12.18 2.12.18
Solr
optionale Komponente		 9.4.1 9.4.1 9.4.1 9.4.1
Trino
optionale Komponente		 432 432 432 432
Optionale
Zeppelin NotebookKomponente		 0.10.1 0.10.1 0.10.1 0.10.1
Zookeeper
optionale Komponente		 3.9.3 3.9.3 3.9.3 3.9.3

Wichtige Änderungen in Version 2.3:

  • Version 2.3 ist ein schlankes Image, das nur Kernkomponenten enthält. Dadurch wird das Risiko von Common Vulnerabilities and Exposures (CVEs) verringert. Wenn Sie höhere Sicherheitsanforderungen erfüllen müssen, verwenden Sie beim Erstellen eines Dataproc-Clusters die Image-Version 2.3 oder höher.

  • Wenn Sie beim Erstellen eines Dataproc-Clusters mit dem 2.3-Image optionale Komponenten installieren, werden diese während der Clustererstellung heruntergeladen und installiert. Dadurch kann sich die Startzeit des Clusters verlängern. Um diese Verzögerung zu vermeiden, können Sie ein benutzerdefiniertes Image mit den vorinstallierten optionalen Komponenten erstellen. Dazu führen Sie generate_custom_image.py mit dem Flag --optional-components aus.

Hinweise:

  • Die folgenden Komponenten sind in 2.3-Images optional:

    • Apache Flink
    • Apache Hive WebHCat
    • Apache Hudi
    • Apache Iceberg
    • Apache Pig
    • Delta Lake
    • Docker
    • JupyterLab-Notebook
    • Ranger
    • Solr
    • Zeppelin-Notebook
    • Zookeeper

  • yarn.nodemanager.recovery.enabled und HDFS-Audit-Logging sind in Version 2.3-Images standardmäßig aktiviert.

  • micromamba wird anstelle von conda in früheren Image-Versionen als Teil der Python-Installation installiert.

  • Probleme bei der Docker- und Zeppelin-Installation:

    • Die Installation schlägt fehl, wenn der Cluster keinen öffentlichen Internetzugang hat. Als Workaround können Sie einen Cluster erstellen, der ein benutzerdefiniertes Image mit vorinstallierten optionalen Komponenten verwendet. Führen Sie dazu generate_custom_image.py mit dem Flag --optional-components aus.
    • Die Installation kann fehlschlagen, wenn der Cluster an eine ältere untergeordnete Image-Version angepinnt ist: Pakete werden bei Bedarf aus öffentlichen OSS-Repositories installiert und ein Paket ist möglicherweise nicht upstream verfügbar, um die Installation zu unterstützen. Als Workaround können Sie einen Cluster erstellen, der ein benutzerdefiniertes Image mit vorinstallierten optionalen Komponenten verwendet. Führen Sie dazu generate_custom_image.py mit dem --optional-components-Flag aus.