Komponenten der Spark-Laufzeitversion 2.2
Hinweise:
1. Die 2.2-Laufzeit verwendet die Standardzeichencodierung UTF-8.
Spark Runtime 2.2-Bibliotheken
Bibliotheken für maschinelles Lernen wie TensorFlow, PyTorch und XGBoost und bieten eine sofort einsatzbereite Umgebung für Anwendungen für maschinelles Lernen und Data Science.
In den folgenden Abschnitten sind die Bibliotheksversionen aufgeführt, die in Dataproc Serverless für die Spark-Laufzeitversion 2.2 verfügbar sind.
GPU-spezifische Bibliotheken
Die folgenden NVIDIA-Treiber und Spark Rapids-Bibliotheksversionen sind im serverlosen Dataproc-Container verfügbar, um Spark-Batcharbeitslasten mithilfe der NVIDIA Spark Rapids-Bibliothek zu beschleunigen.
| Paketname | Version |
|---|---|
| Spark Rapids | 24.04.0 |
| NVIDIA-Treiber | 550.127.05 |
XGBoost-Bibliotheken
Die folgenden Maven-Paketversionen sind in der serverlosen Dataproc-Spark-Laufzeitversion 2.2 verfügbar, um XGBoost mit Spark in Java oder Scala zu verwenden.
| Gruppen-ID | Paketname |
|---|---|
| ml.dmlc | xgboost4j-gpu_2.12 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 |
Python-Bibliotheken
Die folgenden Python-Bibliotheksversionen sind in der serverlosen Dataproc-Version für Spark 2.2 enthalten.
| Paketname | Version |
|---|---|
| beschleunigen | 0,33 |
| Bigframes | 1,7 |
| cookiecutter | 2,6 |
| cython | 3 |
| dask | 2024.5 |
| deepspeed | 0,14 |
| evaluate | 0,4 |
| fastavro | 1.9 |
| fastparquet | 2024.2 |
| gcsfs | 2024.5 |
| git | 2,45 |
| google-auth-oauthlib | 1.2 |
| google-cloud-aiplatform | 1,60 |
| google-cloud-bigquery | 3,23 |
| google-cloud-bigquery-storage | 2,25 |
| google-cloud-bigtable | 2,23 |
| google-cloud-container | 2,45 |
| google-cloud-datacatalog | 3.19 |
| google-cloud-dataproc | 5.9 |
| google-cloud-datastore | 2,19 |
| google-cloud-dlp | 3,22 |
| google-cloud-language | 2,13 |
| google-cloud-logging | 3,10 |
| google-cloud-monitoring | 2.21 |
| google-cloud-pubsub | 2.21 |
| google-cloud-redis | 2.15 |
| google-cloud-secret-manager | 2.20 |
| google-cloud-spanner | 3.46 |
| google-cloud-speech | 2,26 |
| google-cloud-storage | 2,16 |
| google-cloud-texttospeech | 2,16 |
| google-cloud-translate | 3,15 |
| google-cloud-vision | 3,7 |
| httplib2 | 0.22 |
| ipyparallel | 8.8 |
| ipython-sql | 0,3 |
| ipywidgets | 8.1 |
| jupyter_http_over_ws | 0,0 |
| jupyterlab | 4.1 |
| jupyterlab-git | 0,50 |
| keyrings.google-artifactregistry-auth | 1.1 |
| langchain | 0,2 |
| lightgbm | 4.5 |
| Markdown | 3,6 |
| matplotlib | 3,8 |
| nbclassic | 1 |
| nbconvert | 7.16 |
| nbdime | 4,0 |
| nltk | 3,8 |
| nodejs | 20.12 |
| numba | 0.59 |
| numpy | 1,26 |
| oauth2client | 4.1 |
| openblas | 0,3 |
| opencv | 4.9 |
| orc | 2.0 |
| pandas | 2.2 |
| Papierfabrik | 2,6 |
| pyarrow | 15.0 |
| pydot | 2.0 |
| pyhive | 0,7 |
| pymongo | 4.7 |
| pynvml | 11.5 |
| pytables | 3,9 |
| pytorch-cpu | 2.3 |
| regex | 2024.5 |
| Anfragen | 2,31 |
| Rtree | 1.2 |
| scikit-image | 0.22 |
| scikit-learn | 1,5 |
| scipy | 1.11 |
| seaborn | 0,12 |
| sentence-transformers | 3 |
| sqlalchemy | 2.0 |
| sympy | 1.12 |
| Tokenizer | 0,19 |
| Transformatoren | 4,43 |
| Tornado | 6.4 |
| uritemplate | 4.1 |
| virtualenv | 20,26 |
| Wortwolke | 1.9 |
| xgboost | 2.0 |
| ydata-profiling | 4,8 |
R-Bibliotheken
Die folgenden R-Bibliotheksversionen sind in der serverlosen Dataproc-Spark-Laufzeitversion 2.2 enthalten.
| Paketname | Version |
|---|---|
| askpass | 1.2 |
| assertthat | 0,2 |
| Backports | 1,5 |
| Bit | 4,0 |
| bit64 | 4,0 |
| blob | 1.2 |
| Stiefel | 1.3_30 |
| brew | 1.0_10 |
| Besen | 1 |
| callr | 3,7 |
| Caret-Zeichen | 6.0_94 |
| cellranger | 1.1 |
| chron | 2.3_61 |
| Klasse | 7.3_22 |
| Befehlszeile | 3,6 |
| clipr | 0,8 |
| Cluster | 2.1 |
| codetools | 0.2_20 |
| colorspace | 2.1_0 |
| commonmark | 1.9 |
| cpp11 | 0,4 |
| Buntstift | 1,5 |
| curl | 5.1 |
| data.table | 1,15 |
| dbi | 1.2 |
| dbplyr | 2,5 |
| Ab | 1,4 |
| devtools | 2.4 |
| Hashwert | 0,6 |
| dplyr | 1.1 |
| Auslassungszeichen | 0,3 |
| evaluate | 0,23 |
| fansi | 1 |
| Fastmap | 1.2 |
| forcats | 1 |
| foreach | 1,5 |
| Fremdsprachen | 0,8_86 |
| fs | 1,6 |
| future | 1.33 |
| Generika | 0,1 |
| ggplot2 | 3,5 |
| gh | 1,4 |
| glmnet | 4.1_8 |
| globals | 0,16 |
| Kleber | 1,7 |
| Gower | 1 |
| gtable | 0,3 |
| Haven | 2,5 |
| highr | 0,10 |
| hms | 1.1 |
| htmltools | 0.5.8 |
| htmlwidgets | 1,6 |
| httpuv | 1,6 |
| httr | 1,4 |
| hwriter | 1.3.2 |
| ini | 0,3 |
| ipred | 0.9_14 |
| isoband | 0,2 |
| Iteratoren | 1 |
| jsonlite | 1.8 |
| kernsmooth | 2.23_24 |
| knitr | 1,46 |
| Kennzeichnung | 0,4 |
| später | 1,3 |
| Gitter | 0.22_6 |
| Lava | 1,7 |
| lifecycle | 1 |
| listenv | 0,9 |
| lubridate | 1.9 |
| magrittr | 2.0 |
| Markdown | 1.12 |
| Masse | 7.3_60 |
| Matrix | 1.6_5 |
| Memoize | 2.0 |
| mgcv | 1.9_1 |
| mime | 0,12 |
| modelmetrics | 1.2.2 |
| modelr | 0,1 |
| Munsell | 0,5 |
| nlme | 3.1_164 |
| nnet | 7.3_19 |
| numderiv | 2016.8_1 |
| openssl | 2.2 |
| Säule | 1.9 |
| pkgbuild | 1,4 |
| pkgconfig | 2.0 |
| pkgload | 1,3 |
| plogr | 0,2 |
| plyr | 1.8 |
| Lob | 1 |
| prettyunits | 1.2 |
| processx | 3,8 |
| prodlim | 2023.08 |
| Fortschritt | 1.2 |
| Versprechen | 1,3 |
| Proto | 1 |
| ps | 1,7 |
| purrr | 1 |
| r6 | 2,5 |
| randomforest | 4.7_1 |
| rappdirs | 0,3 |
| rcmdcheck | 1,4 |
| rcolorbrewer | 1.1_3 |
| rcpp | 1 |
| rcurl | 1.98_1 |
| readr | 2.1 |
| readxl | 1,4 |
| Rezepte | 1 |
| Rematch | 2.0 |
| Fernbedienungen | 2,5 |
| reprex | 2.1 |
| reshape2 | 1,4 |
| rlang | 1.1 |
| rmarkdown | 2,27 |
| rodbc | 1.3_23 |
| roxygen2 | 7.3 |
| rpart | 4.1 |
| rprojroot | 2.0 |
| rserve | 1.8_7 |
| rsqlite | 2.3 |
| rstudioapi | 0,16 |
| rvest | 1 |
| Skalen | 1,3 |
| selectr | 0.4_2 |
| sessioninfo | 1.2 |
| Form | 1.4.6 |
| glänzend | 1.8.1 |
| sourcetools | 0,1 |
| räumlich | 7.3_17 |
| Quadratmeter | 2021.1 |
| stringi | 1.8 |
| stringr | 1,5 |
| Überleben | 3.6_4 |
| SYS | 3.4 |
| teachingdemos | 2,12 |
| testthat | 3.2.1 |
| Tibble | 3.2 |
| tidyr | 1,3 |
| tidyselect | 1.2 |
| tidyverse | 2.0 |
| timedate | 4032.109 |
| tinytex | 0,51 |
| usethis | 2.2 |
| utf8 | 1.2 |
| uuid | 1.2_0 |
| vctrs | 0,6 |
| Whisker | 0,4 |
| withr | 3 |
| xfun | 0.44 |
| xml2 | 1,3 |
| xopen | 1 |
| xtable | 1.8_4 |
| yaml | 2.3 |
| ZIP | 2.3 |