GKE 기반 Dataproc 출시 버전

컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.

Spark Engine 3.5

구성요소	3.5-dataproc-17
Apache Spark	3.5.0
Hadoop 라이브러리	3.3.6
Cloud Storage 커넥터	3.0.0
자바	11
Python	3.8.5
Conda	4.9.2
R	4.3.0

Spark Engine 3.1(지원 중단됨)

구성요소	3.1-dataproc-17	3.1-dataproc-16	3.1-dataproc-15	3.1-dataproc-14
Apache Spark	3.1.3	3.1.3	3.1.3	3.1.3
Hadoop 라이브러리	3.2.3	3.2.3	3.2.3	3.2.3
Cloud Storage 커넥터	hadoop3-2.2.13	hadoop3-2.2.13	hadoop3-2.2.11	hadoop3-2.2.11
자바	8	8	8	8
Python	3.8.5	3.8.5	3.8.5	3.8.5
Conda	4.9.2	23.5.0	4.9.2	4.9.2
R	4.3.0	4.3.0	4.2.3	4.2.3

Spark Engine 2.4(지원 중단됨)

Spark 2.4의 DPGKE 지원이 EOL되었습니다. 공개 이미지는 추가 지원 없이 계속 사용할 수 있습니다.

구성요소	2.4-dataproc-17	2.4-dataproc-16	2.4-dataproc-15	2.4-dataproc-14
Apache Spark	2.4.8	2.4.8	2.4.8	2.4.8
Hadoop 라이브러리	2.10.2	2.10.2	2.10.2	2.10.2
Cloud Storage 커넥터	hadoop2-2.1.9	hadoop2-2.1.9	hadoop2-2.1.9	hadoop2-2.1.9
자바	8	8	8	8
Python	3.7.4	3.7.4	3.7.4	3.7.4
Conda	4.7.12	22.11.1	22.11.1	22.1.0
R	3.6.3	3.6.3	3.6.3	3.6.3

정규화된 Spark Engine 출시 버전은 3.1-dataproc-[NUMBER] 또는 3.5-dataproc-[NUMBER](예: 3.1-dataproc-17 또는 3.5-dataproc-17)로 표시됩니다.

Spark 버전 형식은 다음 예시와 같이 별칭 형식으로 표시될 수도 있습니다.

• 3 - Spark 주 버전이 3인 Spark Engine의 최신 버전
• 3.5 - Spark 주/부 버전이 3.5인 Spark Engine의 최신 버전
• dataproc-2.2 - Compute Engine 기반 Dataproc 2.2 이미지와 호환되는 Spark Engine의 최신 버전
• latest - Spark Engine의 최신 버전