Google Dataproc は、Ubuntu、Debian、Rocky Linux のイメージ バージョンを使用して、オペレーティング システム、ビッグデータ コンポーネント、Google Cloud コネクタを、クラスタにデプロイされる 1 つのパッケージにバンドルします。詳細については、Dataproc のバージョニングをご覧ください。
注:
- Dataproc イメージ バージョンは、最初のリリースから 24 か月間サポートされます。
- 通常、Dataproc イメージ バージョンはサポート終了日から 24 か月間使用できますが、イメージのサポート期間が延長された場合は、使用期間が短くなることがあります。
デフォルトの Dataproc イメージ バージョン
Dataproc は、デフォルト イメージ バージョンを、一般提供（GA）リリース日の後に、一般提供されている最新の Debian ベースの Dataproc に更新します。
サポートされている Dataproc イメージ バージョン
Debian イメージ
Dataproc クラスタでは、次の Debian ベースのイメージ バージョンがサポートされています。リリース以降にバージョンに加えられたサブマイナー パッチを含める場合、新しいクラスタが作成されるのでご注意ください。
| バージョン | 最終更新 | リリース日 | サポート期限 | 有効期限: | 注 |
|---|---|---|---|---|---|
| 2.2-debian12 | 2024/10/31 | 2023/12/08 | 2025/12/31 | 2027/12/31 | 一般提供リリース。 2024 年 9 月 13 日、イメージ バージョン 2.2 がデフォルトのイメージ バージョンになります。 |
| 2.1-debian11 | 2024/10/31 | 2022/12/12 | 2025/06/30 | 2026/12/31 | 一般提供リリース。 |
| 2.0-debian10 | 2024/10/31 | 2021/01/22 | 2025/06/30 | 2026/07/31 | 一般提供リリース。 |
Ubuntu イメージ
Dataproc クラスタでは、次の Ubuntu LTS ベースのイメージ バージョンがサポートされています。リリース以降にバージョンに加えられたサブマイナー パッチを含める場合、新しいクラスタが作成されるのでご注意ください。
| バージョン | 最終更新 | リリース日 | サポート期限 | 有効期限: | 注 |
|---|---|---|---|---|---|
| 2.2-ubuntu22 | 2024/10/31 | 2023/12/08 | 2025/12/31 | 2027/12/31 | 一般提供リリース。 |
| 2.1-ubuntu20 | 2024/10/31 | 2022/12/12 | 2025/06/30 | 2026/12/31 | 一般提供リリース。 |
| 2.0-ubuntu18 | 2024/10/31 | 2021/01/22 | 2025/06/30 | 2026/07/31 | 一般提供リリース。 |
Rocky Linux イメージ
Dataproc クラスタでは、次の Rocky Linux ベースのイメージ バージョンがサポートされています。リリース以降にバージョンに加えられたサブマイナー パッチを含める場合、新しいクラスタが作成されるのでご注意ください。
| バージョン | 最終更新 | リリース日 | サポート期限 | 有効期限: | 注 |
|---|---|---|---|---|---|
| 2.2-rocky9 | 2024/10/31 | 2023/12/08 | 2025/12/31 | 2027/12/31 | 一般提供リリース。 |
| 2.1-rocky8 | 2024/10/31 | 2022/12/12 | 2025/06/30 | 2026/12/31 | 一般提供リリース。 |
| 2.0-rocky8 | 2024/10/31 | 2022/02/18 | 2025/06/30 | 2026/07/31 | 一般提供リリース。 |
サポートされていない Dataproc イメージ バージョン
次の Dataproc のバージョンはサポートされていません。 Dataproc は、これらのバージョンで作成されたクラスタの更新とサポートを提供していません。サポートされていないバージョンで作成されたクラスタを引き続き実行することはできますが、サポートされているバージョンで作成された新しいクラスタに置き換えることをおすすめします。
| バージョン | 含める | リリース日 | 最終更新 | 注 |
|---|---|---|---|---|
1.5-debian10/-ubuntu18/-rocky8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage コネクタ 2.1.9-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/03/25:debian10/ubuntu18 2022/02/18:rocky8 |
2023/04/28 | 2023 年 4 月 28 日の時点ではサポートされていません。 1.5.89-debian10/-ubuntu18/-rocky8 が最終リリース バージョンでした。 |
2.0-centos8 |
Apache Spark 3.1.2 Apache Hadoop 3.2.2 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.2 Cloud Storage コネクタ 2.2.4-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14 |
2021/03/16 | 2022/02/01 | 2022 年 2 月 1 日の時点ではサポートされていません。 2.0.30-centos8 が最終リリース バージョンでした。 |
1.5-centos8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.1 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage コネクタ 2.1.5-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/12/14 | 2022/02/01 | 2022 年 2 月 1 日の時点ではサポートされていません。 1.5.56-centos8 が最終リリース バージョンでした。 |
1.4-debian10/-ubuntu18 |
Apache Spark 2.4.8 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage コネクタ 1.9.18-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.14 |
2019 年 3 月 22 日 | 2022/02/01 | 2022 年 2 月 1 日の時点ではサポートされていません。 1.4.80-debian10/-ubuntu18 が最終リリース バージョンでした。 |
1.3-debian10/-ubuntu18 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage コネクタ 1.9.18-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2018 年 6 月 29 日 | 2021/12/22 | 2021 年 8 月 1 日の時点ではサポートされていません。 1.3.95-debian10/-ubuntu18 が最終リリース バージョンであり、log4j2 の脆弱性については対応済みです。注: これよりも前にリリースされたバージョンは脆弱であるため、アップグレードする必要があります。 |
1.4-debian9 |
Apache Spark 2.4.5 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage コネクタ 1.9.17-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.13 |
2019 年 3 月 22 日 | 2020/07/10 | 2020 年 7 月 10 日にサポート対象外になりました。 1.4.33-debian9 は最終リリース バージョンでした。 |
1.3-debian9 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage コネクタ 1.9.17-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2018 年 6 月 29 日 | 2020/07/10 | 2020 年 7 月 10 日にサポート対象外になりました。 1.3.62-debian9 は最終リリース バージョンでした。 |
1.2-debian9 |
Apache Spark 2.2.3 Apache Hadoop 2.8.5 Apache Pig 0.16.0 Apache Hive 2.1.1 Cloud Storage コネクタ 1.6.10-hadoop2 BigQuery コネクタ 0.10.11-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2017/07/21 | 2020/07/10 | 2020 年 7 月 10 日にサポート対象外になりました。 1.2.102-debian9 が最終リリース バージョンでした。 |
1.1-debian9 |
Apache Spark 2.0.2 Apache Hadoop 2.7.7 Apache Pig 0.16.0 Apache Hive 2.1.1 Cloud Storage コネクタ 1.6.10-hadoop2 BigQuery コネクタ 0.10.11-hadoop2 |
2016 年 8 月 8 日 | 2019/09/26 | 2019 年 10 月 1 日の時点ではサポートされていません。 1.1.121-debian9 が最終リリース バージョンです。 |
1.0-debian9 |
Apache Spark 1.6.2 Apache Hadoop 2.7.4 Apache Pig 0.15.0 Apache Hive 1.2.1 Cloud Storage コネクタ 1.6.10-hadoop2 BigQuery コネクタ 0.10.11-hadoop2 |
2016 年 2 月 22 日 | 2019/05/09 | GA イメージの最初のリリース 2019 年 4 月 1 日にサポート対象外 1.0.119-debian9 が最終リリース バージョン |
0.2 |
Apache Spark 1.5.2 Apache Hadoop 2.7.1 Apache Pig 0.15.0 Apache Hive 1.2.1 Cloud Storage コネクタ 1.5.1-hadoop2 BigQuery コネクタ 0.7.7-hadoop2 |
2015 年 11 月 18 日 | 2016 年 8 月 2 日 | ベータイメージのセカンド リリース。 |
0.1 |
Apache Spark 1.5.0 Apache Hadoop 2.7.1 Apache Pig 0.14.10 Apache Hive 1.0 Cloud Storage コネクタ 1.5.1-hadoop2 BigQuery コネクタ 0.7.7-hadoop2 |
2015 年 9 月 23 日 | 2016 年 8 月 2 日 | Dataproc ベータ版リリース。 Spark 1.5 は、Hive 1.2 に対してコンパイルされています。 |