Versions d'exécution Dataproc sans serveur pour Spark compatibles
| Version | Dernière mise à jour | Date de sortie | Compatible jusqu'à | Disponible jusqu'au | Remarques |
|---|---|---|---|---|---|
| Spark Runtime 2.2 LTS | 2024/10/31 | 2024/03/27 | 30/09/2026 | 30/09/2028 | Disponibilité générale. Il s'agit de la version par défaut. |
| Spark Runtime 1.2 LTS | 2024/10/31 | 2024/03/27 | 30/09/2026 | 30/09/2028 | Disponibilité générale. |
| Environnement d'exécution Spark 1.1 LTS | 2024/10/31 | 2023/01/27 | 31/07/2025 | 31/07/2027 | Disponibilité générale. |
Choisir une version d'exécution Dataproc sans serveur pour Spark
La version d'exécution Dataproc sans serveur par défaut actuelle est listée dans la section Versions d'exécution Dataproc sans serveur pour Spark compatibles. Vous pouvez utiliser la console Google Cloud, la gcloud CLI et l'API Dataproc pour choisir une autre version d'exécution lorsque vous envoyez une charge de travail par lot.
Console
- Ouvrez la page Dataproc Créer un lot dans la console Google Cloud.
- Sous Conteneur, dans la section Version d'exécution, sélectionnez l'une des versions d'exécution Dataproc sans serveur listées.
gcloud
Utilisez l'option dataproc batches submit --version pour spécifier une version d'exécution Dataproc sans serveur.
Exemple :
gcloud dataproc batches submit SPARK_WORKLOAD_TYPE \ --region=REGION \ --version=VERSION \ other args ...
Remplacez les éléments suivants :
SPARK_WORKLOAD_TYPE::type de charge de travail Spark, par exemple
spark.REGION: région Compute Engine disponible, par exemple
us-central1.VERSION: facultatif. Une version d'exécution Dataproc sans serveur, par exemple
1.2.
API
Utilisez le champ RuntimeConfig.version dans le cadre d'un appel d'API batches.create pour spécifier une version d'environnement d'exécution sans serveur Dataproc.
Versions d'exécution Dataproc sans serveur pour Spark non compatibles
Les versions Dataproc sans serveur suivantes ne sont pas compatibles.
| Version | Inclut | Date de sortie | Dernière mise à jour | Disponible jusqu'au | Remarques |
|---|---|---|---|---|---|
| Environnement d'exécution Spark 2.1 | Apache Spark 3.4.0 Connecteur Cloud Storage 2.2.20 Connecteur BigQuery 0.28.1 Java 17 Conda 23.3 Python 3.11 R 4.2 Scala 2.13 |
2022/01/19 | 30/05/2024 | 2026/04/30 | Non compatible depuis le 30/05/2024. La version 2.1.50 est la version finale. |
| Éditeur d'exécution Spark 2.0 | Apache Spark 3.3.4 Connecteur Cloud Storage 2.2.20 Java 17 Conda 22.9 Python 3.10 R 4.1 Scala 2.13 |
2022/10/21 | 22/08/2024 | 31/08/2026 | Non compatible depuis le 22/08/2024. La version 2.0.84 est la dernière version publiée. |
| Éditeur d'exécution Spark 1.0 | Apache Spark 3.2.3 Connecteur Cloud Storage 2.2.11 Conda 4.11 Java 11 Python 3.9 R 4.1 Scala 2.12.17 |
2022/01/19 | 03/02/2023 | 31/01/2025 | Non compatible depuis le 03/02/2023. La version finale était la 1.0.29. |