Machine Learning için Databricks Runtime 14.2 (EoS)

Uyarı

Bu Databricks Runtime sürümü desteği sona erdi. Destek sonu tarihi için bkz. Destek sonu ve kullanım süresi sonu geçmişi. Desteklenen tüm Databricks Runtime sürümlerini görmek için Databricks Runtime sürüm notları, versiyonlar ve uyumluluk kısmına bakınız.

Machine Learning için Databricks Runtime 14.2, Databricks Runtime 14.2 (EoS) temelinde makine öğrenmesi ve veri bilimi için kullanıma hazır bir ortam sağlar. Databricks Runtime ML, TensorFlow, PyTorch ve XGBoost gibi birçok popüler makine öğrenmesi kitaplığı içerir. Databricks Runtime ML, makine öğrenmesi işlem hatlarını otomatik olarak eğitmeye yönelik bir araç olan AutoML'yi içerir. Databricks Runtime ML, Horovod kullanarak dağıtılmış derin öğrenme eğitimini de destekler.

Yeni özellikler ve geliştirmeler

Databricks Runtime 14.2 ML, Databricks Runtime 14.2'nin üzerine kurulmuştur. Apache Spark MLlib ve SparkR dahil olmak üzere Databricks Runtime 14.2'deki yenilikler hakkında bilgi için Databricks Runtime 14.2 (EoS) sürüm notlarına bakın.

Sistem ortamı

Databricks Runtime 14.2 ML'deki sistem ortamı, Databricks Runtime 14.2'den aşağıdaki gibi farklıdır:

  • DBUtils: Databricks Runtime ML, Kitaplık yardımcı programını (dbutils.library) (eski) içermez. Bunun yerine komutları kullanın %pip . Bakınız Notebook kapsamlı Python kitaplıkları.
  • GPU kümeleri için Databricks Runtime ML aşağıdaki NVIDIA GPU kitaplıklarını içerir:
    • CUDA 11.8
    • cuDNN 8.9.0.131-1
    • NCCL 2.15.5
    • TensorRT 8.5.3-1

Databricks Runtime 14.2 ML, işlem özelliği 5.2 ve altındaki GPU kümelerini desteklemeyen XGBoost 1.7.6'yı içerir.

Kitaplıklar

Aşağıdaki bölümlerde, Databricks Runtime 14.2 ML'de yer alan ve Databricks Runtime 14.2'dekilerden farklı olan kitaplıklar listelenmiştir.

Bu bölümde:

Üst katman kitaplıkları

Databricks Runtime 14.2 ML aşağıdaki üst katman kitaplıklarını içerir:

Python kitaplıkları

Databricks Runtime 14.2 ML, Python paket yönetimi için virtualenv kullanır ve birçok popüler ML paketi içerir.

Aşağıdaki bölümlerde belirtilen paketlere ek olarak Databricks Runtime 14.2 ML aşağıdaki paketleri de içerir:

  • hyperopt 0.2.7+db4
  • sparkdl 3.0.0_db1
  • automl 1.23.0

Databricks Runtime ML Python ortamını yerel Python sanal ortamınızda yeniden oluşturmak için requirements-14.2.txt dosyasını indirin ve pip install -r requirements-14.2.txt çalıştırın. Bu komut, Databricks Runtime ML'nin kullandığı tüm open source kitaplıklarını yükler, ancak databricks tarafından geliştirilen databricks-automl, databricks-feature-store veya hyperopt Databricks çatalı gibi kitaplıkları yüklemez.

Python kitaplıkları CPU kümeleri üzerinde

Kitaplık Sürüm Kitaplık Sürüm Kitaplık Sürüm
absl-py 1.0.0 hızlandırmak 0.23.0 aiohttp 3.8.6
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 asenkron zaman aşımı 4.0.3
özellikler 22.1.0 sesli okuma 3.0.1 azure-core 1.29.1
azure-cosmos 4.3.1 azure-storage-blob 12.18.3 Azure Depolama Dosya Veri Gölü 12.13.2
geri arama 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.11.1
siyah 22.6.0 çamaşır suyu 4.1.0 sinyal lambası 1.4
blis 0.7.11 boto3 1.24.28 botocore 1.27.96
önbellek araçları 5.3.2 katalog 2.0.10 kategori kodlayıcıları 2.6.2
sertifika 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 tıklayın 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.0.0 cmdstanpy 1.2.0 İletişim 0.1.2
şekerleme 0.1.3 configparser 5.2.0 konturlu 1.0.5
şifreleme 39.0.1 bisikletçi 0.11.0 cymem 2.0.8
Cython 0.29.32 dasit 1.8.1 databricks-automl-runtime 0.2.20
databricks-cli 0.18.0 databricks-özellik mühendisliği 0.1.2 Databricks Özellik Deposu 0.16.1
databricks-sdk 0.1.6 dataclasses-json 0.6.1 veri kümeleri 2.14.5
dbl-tempo 0.1.26 dbus-python 1.2.18 debugpy 1.6.7
dekoratör 5.1.1 deepspeed 0.11.1 defusedxml 0.7.1
dereotu 0.3.6 disk önbelleği 5.6.3 distlib 0.3.7
docstring-to-markdown 0,11 giriş noktaları 0.4 değerlendir 0.4.1
Çalıştırmak 0.8.3 facets genel bakış 1.1.1 fastjsonschema 2.18.1
fasttext 0.9.2 dosya kilidi 3.9.0 Flask 2.2.5
flatbuffers 23.5.26 fonttools 4.25.0 dondurulmuş liste 1.4.0
fsspec 2023.6.0 gelecek 0.18.3 Gast 0.4.0
gitdb 4.0.11 GitPython 3.1.27 google-api-core (Google API çekirdek kütüphanesi) 2.12.0
Google Kimlik Doğrulama 2.21.0 google-auth-oauthlib 1.0.0 google-cloud-core 2.3.3
Google-Bulut-Depolama 2.11.0 google-crc32c 1.5.0 google-pasta 0.2.0
google-resumable-media 2.6.0 googleapis-common-protos 1.61.0 yeşillik 2.0.1
grpcio 1.48.2 grpcio-status 1.48.1 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.7.0 hjson 3.1.0
Tatil 0,35 horovod 0.28.1 htmlmin 0.1.12
httplib2 0.20.2 huggingface-hub 0.16.4 idna 3.4
ImageHash 4.3.1 dengesiz-öğrenme 0.11.0 importlib-metadata 4.11.3
importlib-resources 6.1.0 ipykernel 6.25.0 ipython 8.14.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 izodat 0.6.1
itsdangerous 2.0.1 jedi 0.18.1 Jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
joblibspark 0.5.1 jsonpatch 1,33 jsonpointer 2.4
jsonschema 4.17.3 jupyter-client 7.3.4 jupyter-server 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
keras 2.14.0 anahtarlık 23.5.0 kiwisolver 1.4.4
langchain 0.0.314 dil kodları 3.3.0 langsmith 0.0.56
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
tembel yükleyici 0.3 libclang 15.0.6.1 librosa 0.10.1
lightgbm 4.1.0 llvmlite 0.39.1 lxml 4.9.1
Mako 1.2.0 Markdown 3.4.1 MarkupSafe 2.1.1
marşmelov 3.20.1 matplotlib 3.7.0 matplotlib-inline 0.1.6
Mccabe 0.7.0 yanlış ayarlama 0.8.4 ml-dtypes 0.2.0
mlflow-skinny 2.8.0 more-itertools 8.10.0 mpmath 1.2.1
msgpack 1.0.7 multidict 6.0.4 çoklu yöntem 1.10
çok işlemcili 0.70.14 murmurhash 1.0.10 mypy uzantıları 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 networkx 2.8.4
Ninja 1.11.1.1 nltk 3.7 nodeenv 1.8.0
dizüstü bilgisayar 6.5.2 notebook_shim 0.2.2 numba 0.56.4
numpy 1.23.5 oauthlib 3.2.0 openai 0.28.1
opt-einsum 3.3.0 Ambalaj 22.0 pandas 1.5.3
pandocfilters 1.5.0 paramiko 2.9.2 parso 0.8.3
pathspec 0.10.3 -pati 0.10.3 Patsy 0.5.3
petastorm 0.12.1 pexpect 4.8.0 phik 0.12.3
pickleshare 0.7.5 Yastık 9.4.0 Pip 22.3.1
platformdirs 2.5.2 çizim 5.9.0 takılmış 1.0.0
pmdarima 2.0.3 köpekçik 1.4.0 önceden gösterilmiş 3.0.9
prometheus-client 0.14.1 prompt-toolkit 3.0.36 peygamber 1.1.5
protobuf 4.24.0 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 saf değerlendirme 0.2.2 py-cpuinfo 9.0.0
pyarrow 8.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pycparser 2.21 pydantic 1.10.6
pyflakes 3.1.0 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
pytesseract 0.3.10 python-dateutil 2.8.2 python düzenleyicisi 1.0.4
python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0 pytoolconfig 1.2.5
pytz 2022.7 PyWavelets 1.4.1 PyYAML 6,0
pyzmq 23.2.0 regex 2022.7.9 istekler 2.28.1
requests-oauthlib 1.3.1 Yanıt 0.18.0 ip 1.7.0
rsa 4,9 s3transfer 0.6.2 safetensors 0.4.0
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
Gizli Depolama 3.3.1 Send2Trash 1.8.0 cümle transformatörleri 2.2.2
cümle parçası 0.1.99 kurulum araçları 65.6.3 Shap 0.43.0
simplejson 3.17.6 Altı 1.16.0 Dilimleyici 0.0.7
akıllı açılış 5.2.1 smmap 5.0.0 sniffio 1.2.0
ses dosyası 0.12.1 soupsieve 2.3.2.post1 soxr 0.3.7
spacy 3.7.1 spacy-legacy 3.0.12 spacy-loggers 1.0.5
spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
srsly 2.4.8 ssh-import-id 5.11 stack-data 0.2.0
stanio 0.3.0 statsmodeller 0.13.5 sympy 1.11.1
tablo haline getirmek 0.8.10 unicode ile iç içe geçmiş 0.2.0 Azim 8.1.0
tensorboard 2.14.0 tensorboard-data-server 0.7.2 tensorboard eklenti profili 2.14.0
tensorflow-cpu 2.14.0 tensorflow-estimator 2.14.0 tensorflow-io-gcs-filesystem 0.34.0
termcolor 2.3.0 tamamlandı 0.17.1 thinc 8.2.1
threadpoolctl 2.2.0 tiktoken 0.5.1 tinycss2 1.2.1
tokenize-rt 4.2.1 tokenleştiriciler 0.14.0 tomli 2.0.1
meşale 2.0.1+cpu torchvision 0.15.2+cpu tornado 6.1
tqdm 4.64.1 traitlets 5.7.1 dönüştürücüler 4.34.0
typeguard 2.13.3 Typer 0.9.0 yazma-inceleme 0.9.0
typing_extensions 4.4.0 ujson 5.4.0 katılımsız yükseltmeler 0,1
urllib3 1.26.14 virtualenv 20.16.7 Vizyonlar 0.7.5
wadllib 1.3.6 Wasabi 1.1.2 wcwidth 0.2.5
gelincik 0.3.3 webencodings 0.5.1 websocket-client 0.58.0
Werkzeug 2.2.2 whatthepatch 1.0.2 tekerlek 0.38.4
widgetsnbextension 3.6.1 kelime bulutu 1.9.2 sarılmış 1.14.1
xgboost 1.7.6 xxhash 3.4.1 yapf 0.33.0
yarl 1.9.2 ydata-profil oluşturma 4.2.0 zipp 3.11.0

Python kitaplıkları GPU kümeleri üzerinde

Kitaplık Sürüm Kitaplık Sürüm Kitaplık Sürüm
absl-py 1.0.0 hızlandırmak 0.23.0 aiohttp 3.8.6
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 asenkron zaman aşımı 4.0.3
özellikler 22.1.0 sesli okuma 3.0.1 azure-core 1.29.1
azure-cosmos 4.3.1 azure-storage-blob 12.18.3 Azure Depolama Dosya Veri Gölü 12.13.2
geri arama 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.11.1
siyah 22.6.0 çamaşır suyu 4.1.0 sinyal lambası 1.4
blis 0.7.11 boto3 1.24.28 botocore 1.27.96
önbellek araçları 5.3.2 katalog 2.0.10 kategori kodlayıcıları 2.6.2
sertifika 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 tıklayın 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.0.0 cmake 3.27.7 cmdstanpy 1.2.0
İletişim 0.1.2 şekerleme 0.1.3 configparser 5.2.0
konturlu 1.0.5 şifreleme 39.0.1 bisikletçi 0.11.0
cymem 2.0.8 Cython 0.29.32 dasit 1.8.1
databricks-automl-runtime 0.2.20 databricks-cli 0.18.0 databricks-özellik mühendisliği 0.1.2
Databricks Özellik Deposu 0.16.1 databricks-sdk 0.1.6 dataclasses-json 0.6.1
veri kümeleri 2.14.5 dbl-tempo 0.1.26 dbus-python 1.2.18
debugpy 1.6.7 dekoratör 5.1.1 deepspeed 0.11.1
defusedxml 0.7.1 dereotu 0.3.6 disk önbelleği 5.6.3
distlib 0.3.7 docstring-to-markdown 0,11 einops 0.7.0
giriş noktaları 0.4 değerlendir 0.4.1 Çalıştırmak 0.8.3
facets genel bakış 1.1.1 fastjsonschema 2.18.1 fasttext 0.9.2
dosya kilidi 3.9.0 flash-attn 2.3.2 Flask 2.2.5
flatbuffers 23.5.26 fonttools 4.25.0 dondurulmuş liste 1.4.0
fsspec 2023.6.0 gelecek 0.18.3 Gast 0.4.0
gitdb 4.0.11 GitPython 3.1.27 google-api-core (Google API çekirdek kütüphanesi) 2.12.0
Google Kimlik Doğrulama 2.21.0 google-auth-oauthlib 1.0.0 google-cloud-core 2.3.3
Google-Bulut-Depolama 2.11.0 google-crc32c 1.5.0 google-pasta 0.2.0
google-resumable-media 2.6.0 googleapis-common-protos 1.61.0 yeşillik 2.0.1
grpcio 1.48.2 grpcio-status 1.48.1 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.7.0 hjson 3.1.0
Tatil 0,35 horovod 0.28.1 htmlmin 0.1.12
httplib2 0.20.2 huggingface-hub 0.16.4 idna 3.4
ImageHash 4.3.1 dengesiz-öğrenme 0.11.0 importlib-metadata 4.11.3
importlib-resources 6.1.0 ipykernel 6.25.0 ipython 8.14.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 izodat 0.6.1
itsdangerous 2.0.1 jedi 0.18.1 Jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
joblibspark 0.5.1 jsonpatch 1,33 jsonpointer 2.4
jsonschema 4.17.3 jupyter-client 7.3.4 jupyter-server 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
keras 2.14.0 anahtarlık 23.5.0 kiwisolver 1.4.4
langchain 0.0.314 dil kodları 3.3.0 langsmith 0.0.56
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
tembel yükleyici 0.3 libclang 15.0.6.1 librosa 0.10.1
lightgbm 4.1.0 Yaktı 17.0.4 llvmlite 0.39.1
lxml 4.9.1 Mako 1.2.0 Markdown 3.4.1
MarkupSafe 2.1.1 marşmelov 3.20.1 matplotlib 3.7.0
matplotlib-inline 0.1.6 Mccabe 0.7.0 yanlış ayarlama 0.8.4
ml-dtypes 0.2.0 mlflow-skinny 2.8.0 more-itertools 8.10.0
mpmath 1.2.1 msgpack 1.0.7 multidict 6.0.4
çoklu yöntem 1.10 çok işlemcili 0.70.14 murmurhash 1.0.10
mypy uzantıları 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
networkx 2.8.4 Ninja 1.11.1.1 nltk 3.7
nodeenv 1.8.0 dizüstü bilgisayar 6.5.2 notebook_shim 0.2.2
numba 0.56.4 numpy 1.23.5 oauthlib 3.2.0
openai 0.28.1 opt-einsum 3.3.0 Ambalaj 22.0
pandas 1.5.3 pandocfilters 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.10.3 -pati 0.10.3
Patsy 0.5.3 petastorm 0.12.1 pexpect 4.8.0
phik 0.12.3 pickleshare 0.7.5 Yastık 9.4.0
Pip 22.3.1 platformdirs 2.5.2 çizim 5.9.0
takılmış 1.0.0 pmdarima 2.0.3 köpekçik 1.4.0
önceden gösterilmiş 3.0.9 prompt-toolkit 3.0.36 peygamber 1.1.5
protobuf 4.24.0 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 saf değerlendirme 0.2.2 py-cpuinfo 9.0.0
pyarrow 8.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pycparser 2.21 pydantic 1.10.6
pyflakes 3.1.0 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
pytesseract 0.3.10 python-dateutil 2.8.2 python düzenleyicisi 1.0.4
python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0 pytoolconfig 1.2.5
pytz 2022.7 PyWavelets 1.4.1 PyYAML 6,0
pyzmq 23.2.0 regex 2022.7.9 istekler 2.28.1
requests-oauthlib 1.3.1 Yanıt 0.18.0 ip 1.7.0
rsa 4,9 s3transfer 0.6.2 safetensors 0.4.0
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
Gizli Depolama 3.3.1 Send2Trash 1.8.0 cümle transformatörleri 2.2.2
cümle parçası 0.1.99 kurulum araçları 65.6.3 Shap 0.43.0
simplejson 3.17.6 Altı 1.16.0 Dilimleyici 0.0.7
akıllı açılış 5.2.1 smmap 5.0.0 sniffio 1.2.0
ses dosyası 0.12.1 soupsieve 2.3.2.post1 soxr 0.3.7
spacy 3.7.1 spacy-legacy 3.0.12 spacy-loggers 1.0.5
spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
srsly 2.4.8 ssh-import-id 5.11 stack-data 0.2.0
stanio 0.3.0 statsmodeller 0.13.5 sympy 1.11.1
tablo haline getirmek 0.8.10 unicode ile iç içe geçmiş 0.2.0 Azim 8.1.0
tensorboard 2.14.0 tensorboard-data-server 0.7.2 tensorboard eklenti profili 2.14.0
tensorflow 2.14.0 tensorflow-estimator 2.14.0 tensorflow-io-gcs-filesystem 0.34.0
termcolor 2.3.0 tamamlandı 0.17.1 thinc 8.2.1
threadpoolctl 2.2.0 tiktoken 0.5.1 tinycss2 1.2.1
tokenize-rt 4.2.1 tokenleştiriciler 0.14.0 tomli 2.0.1
meşale 2.0.1+cu118 torchvision 0.15.2+cu118 tornado 6.1
tqdm 4.64.1 traitlets 5.7.1 dönüştürücüler 4.34.0
Triton 2.0.0 typeguard 2.13.3 Typer 0.9.0
yazma-inceleme 0.9.0 typing_extensions 4.4.0 ujson 5.4.0
katılımsız yükseltmeler 0,1 urllib3 1.26.14 virtualenv 20.16.7
Vizyonlar 0.7.5 wadllib 1.3.6 Wasabi 1.1.2
wcwidth 0.2.5 gelincik 0.3.3 webencodings 0.5.1
websocket-client 0.58.0 Werkzeug 2.2.2 whatthepatch 1.0.2
tekerlek 0.38.4 widgetsnbextension 3.6.1 kelime bulutu 1.9.2
sarılmış 1.14.1 xgboost 1.7.6 xxhash 3.4.1
yapf 0.33.0 yarl 1.9.2 ydata-profil oluşturma 4.2.0
zipp 3.11.0

R kitaplıkları

R kitaplıkları Databricks Runtime 14.2'deki R Kitaplıklarıyla aynıdır.

Java ve Scala kitaplıkları (Scala 2.12 kümesi)

Databricks Runtime 14.2'deki Java ve Scala kitaplıklarına ek olarak, Databricks Runtime 14.2 ML aşağıdaki JAR'leri içerir:

CPU kümeleri

Grup Kimliği Nesne Kimliği Sürüm
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.8.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU kümeleri

Grup Kimliği Nesne Kimliği Sürüm
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.8.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on