Spark ランタイム バージョン 2.3 のコンポーネント
注:
2.3ランタイムは、UTF-8のデフォルトの文字エンコードを使用します。
Spark ランタイム 2.3 ライブラリ
学習ライブラリ（TensorFlow、PyTorch、XGBoost など）を備え、機械学習とデータ サイエンス アプリケーション用のすぐに使用できる環境を提供します。
次のセクションでは、Dataproc Serverless for Spark ランタイム バージョン 2.3 で使用可能なライブラリ バージョンについて説明します。
GPU 固有のライブラリ
GPU VM を使用する Dataproc サーバーレス バッチ ワークロードの場合、Dataproc サーバーレス コンテナで次の NVIDIA ドライバとライブラリを使用できます。これらの機能を使用すると、次のタスクを実行できます。
- NVIDIA Spark Rapids ライブラリを使用して Spark バッチ ワークロードを高速化する
- ML ワークロードをトレーニングする
- Spark を使用して分散バッチ推論を実行する
| パッケージ名 | バージョン |
|---|---|
| Spark Rapids | 25.02.1 |
| NVIDIA ドライバ | 570.133.20 |
| CUDA | 12.9 |
| cublas | 12.9.0 |
| cusolver | 11.7.4 |
| cupti | 12.9 |
| cusparse | 12.5.9 |
| cuDNN | 9.10 |
| NCCL | 2.26 |
XGBoost ライブラリ
Dataproc Serverless for Spark ランタイム バージョン 2.2 では、Java または Scala で Spark で XGBoost を使用するには、次の Maven パッケージ バージョンを使用できます。
| グループ ID | パッケージ名 | バージョン |
|---|---|---|
| ml.dmlc | xgboost4j-gpu_2.13 | 2.1.4 |
| ml.dmlc | xgboost4j-spark-gpu_2.13 | 2.1.4 |
Python ライブラリ
Dataproc Serverless for Spark ランタイム バージョン 2.3 には、次の Python ライブラリ バージョンが含まれています。
| パッケージ名 | バージョン |
|---|---|
| accelerate | 1.7 |
| bigframes | 2.4 |
| cookiecutter | 2.6 |
| cython | 3.1 |
| dask | 2025.5 |
| データセット | 3.6 |
| deepspeed | 0.16 |
| delta-spark | 3.2 |
| evaluate | 0.4 |
| fastavro | 1.9 |
| fastparquet | 2024.11 |
| gcsfs | 2025.3 |
| git | 2.49 |
| google-auth-oauthlib | 1.2 |
| google-cloud-aiplatform | 1.94 |
| google-cloud-bigquery | 3.33 |
| google-cloud-bigquery-storage | 2.31 |
| google-cloud-bigtable | 2.31 |
| google-cloud-container | 2.56 |
| google-cloud-datacatalog | 3.27 |
| google-cloud-dataproc | 5.18 |
| google-cloud-datastore | 2.21 |
| google-cloud-dlp | 3.29 |
| google-cloud-language | 2.17 |
| google-cloud-logging | 3.12 |
| google-cloud-monitoring | 2.27 |
| google-cloud-pubsub | 2.29 |
| google-cloud-redis | 2.18 |
| google-cloud-secret-manager | 2.23 |
| google-cloud-spanner | 3.54 |
| google-cloud-speech | 2.32 |
| google-cloud-storage | 2.19 |
| google-cloud/text-to-speech | 2.27 |
| google-cloud-translate | 3.20 |
| google-cloud-vision | 3.10 |
| httplib2 | 0.22 |
| huggingface_hub | 0.31 |
| ipyparallel | 9.0 |
| ipython-sql | 0.3 |
| ipywidgets | 8.1 |
| jupyter_http_over_ws | 0.0 |
| jupyterlab | 4.4 |
| jupyterlab-git | 0.51 |
| keyrings.google-artifactregistry-auth | 1.1 |
| langchain | 0.3 |
| lightgbm | 4.6 |
| マークダウン | 3.8 |
| matplotlib | 3.9 |
| nbclassic | 1.3 |
| nbconvert | 7.16 |
| nbdime | 4.0 |
| nltk | 3.9 |
| nodejs | 22.13 |
| numba | 0.61 |
| numpy | 1.26 |
| oauth2client | 4.1 |
| onnx | 1.17 |
| openblas | 0.3 |
| opencv | 4.10 |
| orc | 2.0 |
| pandas | 2.2 |
| 製紙工場 | 2.6 |
| pyarrow | 15.0 |
| pydot | 4.0 |
| pyhive | 0.7 |
| pyiceberg | 0.9 |
| pymongo | 4.11 |
| pynvml | 12.0 |
| pytables | 3.10 |
| pytorch-gpu | 2.4 |
| regex | 2024.11 |
| リクエスト | 2.32 |
| rtree | 1.4 |
| scikit-image | 0.25 |
| scikit-learn | 1.6 |
| scipy | 1.13 |
| seaborn | 0.13 |
| sentence-transformers | 4.1 |
| shap | 0.47 |
| spark-tensorflow-distributor | 1.0 |
| sparksql-magic | 0.0.3 |
| sqlalchemy | 2.0 |
| sympy | 1.14 |
| tokenizers | 0.21 |
| torcheval | 0.0.7 |
| torchvision | 0.19 |
| toree | 0.5 |
| 竜巻 | 6.5 |
| transformers | 4.52 |
| uritemplate | 4.1 |
| virtualenv | 20.31 |
| wordcloud | 1.9 |
| xgboost | 2.1 |
| ydata-profiling | 4.16 |
R ライブラリ
Dataproc Serverless for Spark ランタイム バージョン 2.3 には、次の R ライブラリ バージョンが含まれています。
| パッケージ名 | バージョン |
|---|---|
| askpass | 1.2 |
| assertthat | 0.2 |
| バックポート | 1.5 |
| ビット | 4.6 |
| bit64 | 4.6 |
| blob | 1.2 |
| boot | 1.3_31 |
| 醸造 | 1.0_10 |
| ほうき | 1.0 |
| callr | 3.7 |
| キャレット | 6.0_94 |
| cellranger | 1.1 |
| chron | 2.3_62 |
| クラス | 7.3_23 |
| CLI | 3.6 |
| clipr | 0.8 |
| クラスタ | 2.1 |
| codetools | 0.2_20 |
| colorspace | 2.1_1 |
| commonmark | 1.9 |
| cpp11 | 0.5 |
| クレヨン | 1.5 |
| curl | 6.2 |
| data.table | 1.17 |
| dbi | 1.2 |
| dbplyr | 2.5 |
| 降順 | 1.4 |
| devtools | 2.4 |
| ダイジェスト | 0.6 |
| dplyr | 1.1 |
| 省略記号 | 0.3 |
| evaluate | 1.0 |
| fansi | 1.0 |
| fastmap | 1.2 |
| forcats | 1.0 |
| foreach | 1.5 |
| 外国 | 0.8_90 |
| fs | 1.6 |
| 将来 | 1.49 |
| ジェネリック | 0.1 |
| ggplot2 | 3.5 |
| gh | 1.4 |
| glmnet | 4.1_8 |
| グローバル | 0.18 |
| 接着剤 | 1.8 |
| gower | 1.0 |
| gtable | 0.3 |
| haven | 2.5 |
| highr | 0.11 |
| hms | 1.1 |
| htmltools | 0.5.8 |
| htmlwidgets | 1.6 |
| httpuv | 1.6 |
| httr | 1.4 |
| hwriter | 1.3.2 |
| ini | 0.3 |
| ipred | 0.9_15 |
| isoband | 0.2 |
| イテレータ | 1.0 |
| jsonlite | 2.0 |
| kernsmooth | 2.23_26 |
| knitr | 1.50 |
| ラベル付け | 0.4 |
| これ以降 | 1.4 |
| 格子 | 0.22_7 |
| 溶岩 | 1.8 |
| lifecycle | 1.0 |
| listenv | 0.9 |
| lubridate | 1.9 |
| magrittr | 2.0 |
| マークダウン | 2.0 |
| 質量 | 7.3_60 |
| 行列 | 1.6_5 |
| memoise | 2.0 |
| mgcv | 1.9_3 |
| mime | 0.13 |
| modelmetrics | 1.2.2 |
| modelr | 0.1 |
| munsell | 0.5 |
| nlme | 3.1_168 |
| nnet | 7.3_20 |
| numderiv | 2016.8_1 |
| openssl | 2.3 |
| 柱 | 1.10 |
| pkgbuild | 1.4 |
| pkgconfig | 2.0 |
| pkgload | 1.4 |
| plogr | 0.2 |
| plyr | 1.8 |
| 称賛 | 1.0 |
| prettyunits | 1.2 |
| processx | 3.8 |
| prodlim | 2025.04 |
| progress | 1.2 |
| Promises | 1.3 |
| proto | 1.0 |
| ps | 1.9 |
| purrr | 1.0 |
| r6 | 2.6 |
| randomforest | 4.7_1 |
| rappdirs | 0.3 |
| rcmdcheck | 1.4 |
| rcolorbrewer | 1.1_3 |
| rcpp | 1.0 |
| rcurl | 1.98_1 |
| readr | 2.1 |
| readxl | 1.4 |
| レシピ | 1.3 |
| 推奨 | 4.3 |
| 再戦 | 2.0 |
| リモコン | 2.5 |
| reprex | 2.1 |
| reshape2 | 1.4 |
| rlang | 1.1 |
| rmarkdown | 2.29 |
| rodbc | 1.3_25 |
| roxygen2 | 7.3 |
| rpart | 4.1 |
| rprojroot | 2.0 |
| rserve | 1.8_14 |
| rsqlite | 2.3 |
| rstudioapi | 0.17 |
| rvest | 1.0 |
| スケール | 1.4 |
| selectr | 0.4_2 |
| sessioninfo | 1.2 |
| シェイプ | 1.4.6 |
| 光沢のある | 1.10 |
| sourcetools | 0.1 |
| 空間 | 7.3_18 |
| squarem | 2021.1 |
| stringi | 1.8 |
| stringr | 1.5 |
| サバイバル | 3.8_3 |
| sys | 3.4 |
| teachingdemos | 2.13 |
| testthat | 3.2 |
| tibble | 3.2 |
| tidyr | 1.3 |
| tidyselect | 1.2 |
| tidyverse | 2.0 |
| timedate | 4041.110 |
| tinytex | 0.57 |
| usethis | 3.1 |
| utf8 | 1.2 |
| uuid | 1.2_1 |
| vctrs | 0.6 |
| ウィスカー | 0.4 |
| withr | 3.0 |
| xfun | 0.52 |
| xml2 | 1.3 |
| xopen | 1.0 |
| xtable | 1.8_4 |
| yaml | 2.3 |
| zip | 2.3 |