Google Dataproc 會使用 Ubuntu、Debian 和 Rocky Linux 映像檔版本,將作業系統、大數據元件和 Google Cloud 連接器整合成一個可於叢集部署的套件。詳情請參閱「Dataproc 版本管理」。
注意事項:
- Dataproc 映像檔版本在首次發布後,可獲得 24 個月的支援。
- 一般來說,Dataproc 映像檔版本在支援期限結束後,還會提供 24 個月的支援服務,但如果映像檔支援期限延長,有效期限可能會縮短。
預設 Dataproc 映像檔版本
Dataproc 在正式發行 (GA) 日期後,會將預設映像檔版本更新為最新的 Debian 型 Dataproc 正式發行版。
支援的 Dataproc 映像檔版本
Debian 映像檔
Dataproc 叢集支援下列以 Debian 為基礎的映像檔版本。請注意,系統將會建立新叢集,以包含版本發行以來所做的任何副次要修補程式。
版本 | 上次更新時間 | 發布日期 | 支援期限 | 使用期限 | 附註 |
---|---|---|---|---|---|
2.3-debian12 | 2025/06/20 | 2025/06/09 | 2027/06/09 | 2029/06/09 | 正式發行版。 |
2.2-debian12 | 2025/06/20 | 2023/12/08 | 2027/03/31 | 2027/12/31 | 正式發行版。自 2024 年 9 月 13 日起,映像檔版本 2.2 將成為預設映像檔版本。 |
2.1-debian11 | 2025/06/20 | 2022/12/12 | 2026/03/31 | 2026/12/31 | 正式發行版。 |
2.0-debian10 | 2025/06/20 | 2021/01/22 | 2025/09/30 | 2026 年 7 月 31 日 | 正式發行版。 |
Ubuntu 映像檔
Dataproc 叢集支援下列以 Ubuntu LTS 為基礎的映像檔版本。請注意,系統將會建立新叢集,以包含版本發行以來所做的任何副次要修補程式。
版本 | 上次更新時間 | 發布日期 | 支援期限 | 使用期限 | 附註 |
---|---|---|---|---|---|
2.3-ubuntu22 | 2025/06/20 | 2025/06/09 | 2027/06/09 | 2029/06/09 | 正式發行版。 |
2.2-ubuntu22 | 2025/06/20 | 2023/12/08 | 2027/03/31 | 2027/12/31 | 正式發行版。 |
2.1-ubuntu20 | 2025/06/20 | 2022/12/12 | 2026/03/31 | 2026/12/31 | 正式發行版。 |
2.0-ubuntu18 | 2025/06/20 | 2021/01/22 | 2025/09/30 | 2026 年 7 月 31 日 | 正式發行版。 |
Rocky Linux 映像檔
Dataproc 叢集支援下列以 Rocky Linux 為基礎的映像檔版本。請注意,系統將會建立新叢集,以包含版本發行以來所做的任何副次要修補程式。
版本 | 上次更新時間 | 發布日期 | 支援期限 | 使用期限 | 附註 |
---|---|---|---|---|---|
2.3-rocky9 | 2025/06/20 | 2025/06/09 | 2027/06/09 | 2029/06/09 | 正式發行版。 |
2.2-rocky9 | 2025/06/20 | 2023/12/08 | 2027/03/31 | 2027/12/31 | 正式發行版。 |
2.1-rocky8 | 2025/06/20 | 2022/12/12 | 2026/03/31 | 2026/12/31 | 正式發行版。 |
2.0-rocky8 | 2025/06/20 | 2022/02/18 | 2025/09/30 | 2026 年 7 月 31 日 | 正式發行版。 |
不支援的 Dataproc 映像檔版本
下列為不支援的 Dataproc 版本。 Dataproc 對使用這些版本建立的叢集並不提供更新和支援。雖然您可以繼續執行使用不支援版本建立的叢集,但我們仍建議您改用使用支援版本建立的新叢集。
版本 | 包含 | 發行日期 | 上次更新日期 | 附註 |
---|---|---|---|---|
1.5-debian10/-ubuntu18/-rocky8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 連接器 2.1.9-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/03/25:debian10/ubuntu18 2022/02/18:rocky8 |
2023/04/28 | 自 2023 年 4 月 28 日起已不再支援。 1.5.89-debian10/-ubuntu18/-rocky8 是最後發布的版本。 |
2.0-centos8 |
Apache Spark 3.1.2 Apache Hadoop 3.2.2 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.2 Cloud Storage 連接器 2.2.4-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14 |
2021/03/16 | 2022/02/01 | 自 2022 年 2 月 1 日起已不再支援。 2.0.30-centos8 是最後發布的版本。 |
1.5-centos8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.1 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 連接器 2.1.5-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/12/14 | 2022/02/01 | 自 2022 年 2 月 1 日起已不再支援。 1.5.56-centos8 是最後發布的版本。 |
1.4-debian10/-ubuntu18 |
Apache Spark 2.4.8 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 連接器 1.9.18-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.14 |
2019 年 3 月 22 日 | 2022/02/01 | 自 2022 年 2 月 1 日起已不再支援。 1.4.80-debian10/-ubuntu18 是最後發布的版本。 |
1.3-debian10/-ubuntu18 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 連接器 1.9.18-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2018 年 6 月 29 日 | 2021/12/22 | 自 2021 年 8 月 1 日起不再支援。 1.3.95-debian10/-ubuntu18 是最後發布的版本,已解決 log4j2 安全漏洞。注意:先前發布的版本有安全漏洞,因此必須升級。 |
1.4-debian9 |
Apache Spark 2.4.5 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 連接器 1.9.17-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.13 |
2019 年 3 月 22 日 | 2020/07/10 | 自 2020 年 7 月 10 日起不再支援。 1.4.33-debian9 是最後發布的版本。 |
1.3-debian9 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 連接器 1.9.17-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2018 年 6 月 29 日 | 2020/07/10 | 自 2020 年 7 月 10 日起不再支援。 1.3.62-debian9 是最後發布的版本。 |
1.2-debian9 |
Apache Spark 2.2.3 Apache Hadoop 2.8.5 Apache Pig 0.16.0 Apache Hive 2.1.1 Cloud Storage 連接器 1.6.10-hadoop2 BigQuery 連接器 0.10.11-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2017/07/21 | 2020/07/10 | 自 2020 年 7 月 10 日起不再支援。 1.2.102-debian9 是最後發布的版本。 |
1.1-debian9 |
Apache Spark 2.0.2 Apache Hadoop 2.7.7 Apache Pig 0.16.0 Apache Hive 2.1.1 Cloud Storage 連接器 1.6.10-hadoop2 BigQuery 連接器 0.10.11-hadoop2 |
2016 年 8 月 8 日 | 2019/09/26 | 自 2019 年 10 月 1 日起已不再支援。 1.1.121-debian9 是最終發布版本。 |
1.0-debian9 |
Apache Spark 1.6.2 Apache Hadoop 2.7.4 Apache Pig 0.15.0 Apache Hive 1.2.1 Cloud Storage 連接器 1.6.10-hadoop2 BigQuery 連接器 0.10.11-hadoop2 |
2016 年 2 月 22 日 | 2019/05/09 | 映像檔的第一個正式發行版。 自 2019 年 4 月 1 日起不再支援。 1.0.119-debian9 是最後發布的版本。 |
0.2 |
Apache Spark 1.5.2 Apache Hadoop 2.7.1 Apache Pig 0.15.0 Apache Hive 1.2.1 Cloud Storage 連接器 1.5.1-hadoop2 BigQuery 連接器 0.7.7-hadoop2 |
2015/11/18 | 2016/08/02 | 第二次發行的測試版映像檔。 |
0.1 |
Apache Spark 1.5.0 Apache Hadoop 2.7.1 Apache Pig 0.14.10 Apache Hive 1.0 Cloud Storage 連接器 1.5.1-hadoop2 BigQuery 連接器 0.7.7-hadoop2 |
2015/09/23 | 2016/08/02 | Dataproc Beta 版。 Spark 1.5 已針對 Hive 1.2 進行編譯。 |