Mantenha tudo organizado com as coleções
Salve e categorize o conteúdo com base nas suas preferências.
Spark Engine 3.5
Componente
3.5-dataproc-22
3.5-dataproc-17
Apache Spark
3.5.0
3.5.0
Bibliotecas do Hadoop
3.3.6
3.3.6
Conector do Cloud Storage
3.0.0
3.0.0
Java
11
11
Python
3.8.5
3.8.5
Conda
4.9.2
4.9.2
R
4.3.0
4.3.0
Spark Engine 3.1(descontinuado)
Componente
3.1-dataproc-17
3.1-dataproc-16
3.1-dataproc-15
3.1-dataproc-14
Apache Spark
3.1.3
3.1.3
3.1.3
3.1.3
Bibliotecas do Hadoop
3.2.3
3.2.3
3.2.3
3.2.3
Conector do Cloud Storage
hadoop3-2.2.13
hadoop3-2.2.13
hadoop3-2.2.11
hadoop3-2.2.11
Java
8
8
8
8
Python
3.8.5
3.8.5
3.8.5
3.8.5
Conda
4.9.2
23.5.0
4.9.2
4.9.2
R
4.3.0
4.3.0
4.2.3
4.2.3
Spark Engine 2.4(descontinuado)
O Spark 2.4 atingiu o EOL para suporte no DPGKE. A imagem pública continua
disponível sem mais suporte.
Componente
2.4-dataproc-17
2.4-dataproc-16
2.4-dataproc-15
2.4-dataproc-14
Apache Spark
2.4.8
2.4.8
2.4.8
2.4.8
Bibliotecas do Hadoop
2.10.2
2.10.2
2.10.2
2.10.2
Conector do Cloud Storage
hadoop2-2.1.9
hadoop2-2.1.9
hadoop2-2.1.9
hadoop2-2.1.9
Java
8
8
8
8
Python
3.7.4
3.7.4
3.7.4
3.7.4
Conda
4.7.12
22.11.1
22.11.1
22.1.0
R
3.6.3
3.6.3
3.6.3
3.6.3
Formatos de versão do Spark no Dataproc no GKE
Uma versão de lançamento do mecanismo do Spark totalmente qualificada é expressa como: 3.1-dataproc-[NUMBER] ou
3.5-dataproc-[NUMBER], por exemplo, 3.1-dataproc-17 ou 3.5-dataproc-17.
Os formatos de versão do Spark também podem ser expressos em forma de alias, conforme mostrado nos
exemplos abaixo:
3: a versão mais recente do mecanismo Spark com uma versão principal do Spark 3.
3.5: versão mais recente do mecanismo Spark com uma versão major.minor do Spark de 3.5.
dataproc-2.2: versão mais recente do mecanismo do Spark compatível com
o Dataproc nas imagens 2.2 do Compute Engine.
[[["Fácil de entender","easyToUnderstand","thumb-up"],["Meu problema foi resolvido","solvedMyProblem","thumb-up"],["Outro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Informações incorretas ou exemplo de código","incorrectInformationOrSampleCode","thumb-down"],["Não contém as informações/amostras de que eu preciso","missingTheInformationSamplesINeed","thumb-down"],["Problema na tradução","translationIssue","thumb-down"],["Outro","otherDown","thumb-down"]],["Última atualização 2025-04-03 UTC."],[[["Spark Engine 3.5 is the latest version, featuring Apache Spark 3.5.0, Hadoop Libraries 3.3.6, and Java 11, among other components."],["Spark Engine 3.1 is deprecated but includes Apache Spark 3.1.3, Hadoop Libraries 3.2.3, and Java 8 across all subversions."],["Spark Engine 2.4 is deprecated and has reached the End-of-Life (EOL) for support in DPGKE, although the public image remains available without further support."],["Spark engine release versions are expressed as `3.1-dataproc-[NUMBER]` or `3.5-dataproc-[NUMBER]`, while aliases like `3`, `3.5`, `dataproc-2.2`, and `latest` can be used for convenience."],["Version aliases are resolved during cluster creation, so using them does not guarantee the same concrete Spark version across multiple clusters."]]],[]]
