Versioni del runtime Dataproc Serverless per Spark supportate
| Versione | Ultimo aggiornamento | Data di uscita | Supportato fino al giorno | Disponibile fino al giorno | Note |
|---|---|---|---|---|---|
| Spark runtime 2.2 LTS | 31/10/2024 | 27/03/2024 | 30/09/2026 | 30/09/2028 | Release in disponibilità generale. Questa è la versione predefinita. |
| Ambiente di runtime Spark 1.2 LTS | 31/10/2024 | 27/03/2024 | 30/09/2026 | 30/09/2028 | Release in disponibilità generale. |
| Ambiente di runtime Spark 1.1 LTS | 31/10/2024 | 27/01/2023 | 31/07/2025 | 31/07/2027 | Release in disponibilità generale. |
Come scegliere una versione del runtime Dataproc Serverless per Spark
La versione corrente del runtime Dataproc Serverless predefinita è elencata in Versioni del runtime Dataproc Serverless per Spark supportate. Puoi utilizzare la console Google Cloud, l'interfaccia a riga di comando gcloud CLI'API Dataproc per scegliere una versione del runtime diversa quando invii un carico di lavoro batch.
Console
- Apri la pagina Crea batch di Dataproc nella console Google Cloud.
- In Container, nella sezione Versione del runtime, seleziona una delle versioni del runtime Dataproc Serverless elencate.
gcloud
Utilizza il flag dataproc batches submit --version per specificare una
versione del runtime Dataproc Serverless.
Esempio:
gcloud dataproc batches submit SPARK_WORKLOAD_TYPE \ --region=REGION \ --version=VERSION \ other args ...
Sostituisci quanto segue:
SPARK_WORKLOAD_TYPE: un tipo di workload Spark, ad esempio
spark.REGION: un'area geografica Compute Engine disponibile, ad esempio
us-central1.VERSIONE: facoltativo. Una versione del runtime Dataproc Serverless, ad esempio
1.2.
API
Utilizza il campo RuntimeConfig.version
come parte di una chiamata API batches.create
per specificare una versione del runtime Dataproc Serverless.
Versioni del runtime Dataproc Serverless per Spark non supportate
Le seguenti versioni di Dataproc Serverless non sono supportate.
| Versione | Include | Data di uscita | Ultimo aggiornamento | Disponibile fino al giorno | Note |
|---|---|---|---|---|---|
| Runtime Spark 2.1 | Apache Spark 3.4.0 Connettore Cloud Storage 2.2.20 Connettore BigQuery 0.28.1 Java 17 Conda 23.3 Python 3.11 R 4.2 Scala 2.13 |
2022/01/19 | 30/05/2024 | 30/04/2026 | Non supportato dal 30/05/2024. 2.1.50 è stata la versione finale rilasciata. |
| Ambiente di runtime Spark 2.0 | Apache Spark 3.3.4 Connettore Cloud Storage 2.2.20 Java 17 Conda 22.9 Python 3.10 R 4.1 Scala 2.13 |
21/10/2022 | 22/08/2024 | 31/08/2026 | Non supportato dal 22/08/2024. 2.0.84 è stata la versione finale rilasciata. |
| Runtime Spark 1.0 | Apache Spark 3.2.3 Connettore Cloud Storage 2.2.11 Conda 4.11 Java 11 Python 3.9 R 4.1 Scala 2.12.17 |
2022/01/19 | 03/02/2023 | 31/01/2025 | Non supportato dal 03/02/2023. 1.0.29 è stata la versione finale rilasciata. |