Machine Learning için Databricks Runtime 16.0 (EoS)

Uyarı

Bu Databricks Runtime sürümü desteği sona erdi. Destek sonu tarihi için bkz. Destek sonu ve kullanım süresi sonu geçmişi. Desteklenen tüm Databricks Runtime sürümlerini görmek için Databricks Runtime sürüm notları, versiyonlar ve uyumluluk kısmına bakınız.

Machine Learning için Databricks Runtime 16.0, Databricks Runtime 16.0 (EoS) temelinde makine öğrenmesi ve veri bilimi için kullanıma hazır bir ortam sağlar. Databricks Runtime ML, TensorFlow, PyTorch ve XGBoost gibi birçok popüler makine öğrenmesi kitaplığı içerir. Databricks Runtime ML, makine öğrenmesi işlem hatlarını otomatik olarak eğitmeye yönelik bir araç olan AutoML'yi içerir. Databricks Runtime ML, TorchDistributor, DeepSpeed ve Ray kullanarak dağıtılmış derin öğrenme eğitimini de destekler.

Yeni özellikler ve geliştirmeler

Databricks Runtime 16.0 ML, Databricks Runtime 16.0'ın üzerine kurulmuştur. Apache Spark MLlib ve SparkR dahil olmak üzere Databricks Runtime 16.0'daki yenilikler hakkında bilgi için bkz. Databricks Runtime 16.0 (EoS) sürüm notları .

Yeni Python paketleri

Databricks Runtime ML'ye aşağıdaki Python paketleri eklendi:

  • composer 0.24.1
  • optuna 3.6.1

Tahmin için AutoML örnek ağırlıkları

AutoML artık tahmin için örnek ağırlıkları destekleyerek çok zaman serisi tahmin modellerini eğitme için her zaman serisinin önemini ayarlamanıza izin veriyor. Daha fazla bilgi için AutoML Python API için tahmin parametrelerine bakın.

Unity Kataloğu'nda bir görünümü özellik tablosu olarak kullanma

Artık Unity Kataloğu'ndaki bir görünümü özellik tablosu olarak kullanabilirsiniz. Bkz. Unity Kataloğu'nda var olan bir görünümü özellik tablosu olarak kullanma.

Diğer değişiklikler

Horovod, HorovodRunner, Petastorm, spark-tensorflow-distributor kaldırıldı

Databricks Runtime ML'nin önceki sürümlerinde yer alan aşağıdaki paketler Databricks Runtime 16.0 ML'ye dahil değildir:

  • Horovod
  • HorovodRunner
  • Petastorm
  • spark-tensorflow-distributor

Databricks aşağıdaki değişiklikleri önerir:

  • Dağıtılmış derin öğrenme için Databricks, PyTorch ile dağıtılmış eğitim için TorchDistributor'ü veya TensorFlow ile dağıtılmış eğitim için tf.distribute.Strategy API'sini önerir.
  • Belleğe sığmayan çok büyük veri kümeleri için akış tabanlı yaklaşımları kullanın:
    • Özel akış mantığı için PyTorch IterableDataset.
    • Hub'da veya birimlerde barındırılan veri kümeleri için akışla Yüz Tanıma veri kümelerini kucaklama.
    • Dağıtılmış toplu veri işleme için Ray Data.
  • Bir TensorFlow veya Keras modeli için dağıtılmış eğitim için Databricks, Ray'in kullanılmasını önerir. Databricks'te Ray ve Ray belgelerine bakın.

Sistem ortamı

Databricks Runtime 16.0 ML'deki sistem ortamı, Databricks Runtime 16.0'dan aşağıdaki gibi farklıdır:

  • GPU kümeleri için Databricks Runtime ML aşağıdaki NVIDIA GPU kitaplıklarını içerir:
    • CUDA 12.6
    • cublas 12.6.0.22-1
    • cusolver 11.6.4.38-1
    • cupti 12.6.37-1
    • cusparse 12.5.2.23-1
    • cuDNN 9.3.0.75-1
    • NCCL 2.22.3
    • TensorRT 10.2.0.19-1

Kitaplıklar

Aşağıdaki bölümlerde Databricks Runtime 16.0 ML'de bulunan ve Databricks Runtime 16.0'daki kitaplıklardan farklı kitaplıklar listelenmiştir.

Bu bölümde:

Üst katman kitaplıkları

Databricks Runtime 16.0 ML aşağıdaki üst katman kitaplıklarını içerir:

Python kitaplıkları

Databricks Runtime 16.0 ML, Python paket yönetimi için virtualenv kullanır ve birçok popüler ML paketi içerir.

Aşağıdaki bölümlerde belirtilen paketlere ek olarak Databricks Runtime 16.0 ML aşağıdaki paketleri de içerir:

  • hyperopt 0.2.7+db5
  • automl 1.29.0

Databricks Runtime ML Python ortamını yerel Python sanal ortamınızda yeniden oluşturmak için requirements-16.0.txt dosyasını indirin ve pip install -r requirements-16.0.txt çalıştırın. Bu komut, Databricks Runtime ML'nin kullandığı tüm açık kaynak kitaplıklarını yükler, ancak databricks tarafından geliştirilen databricks-automl, databricks-feature-engineering veya hyperopt Databricks çatalı gibi kitaplıkları yüklemez.

Python kitaplıkları CPU kümeleri üzerinde

Kitaplık Sürüm Kitaplık Sürüm Kitaplık Sürüm
absl-py 1.0.0 hızlandırmak 0.33.0 aiohttp 3.9.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 imbik 1.13.3
açıklamalı türler 0.7.0 anyio 4.2.0 argcomplete 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bağlantıları 21.2.0 oku seçin 1.2.3
Astor 0.8.1 ast jetonları 2.0.5 astunparse 1.6.3
async-lru 2.0.4 özellikler 23.1.0 sesli okuma 3.0.1
otomatik komut 2.2.2 azure-core 1.31.0 azure-cosmos 4.3.1
Azure-Kimlik 1.18.0 Azure depolama bloğu 12.23.1 Azure Depolama Dosya Veri Gölü 12.17.0
Babel 2.11.0 geri çekilme 2.2.1 backports.tarfile 1.2.0
bcrypt 3.2.0 beautifulsoup4 4.12.3 siyah 24.4.2
çamaşır suyu 4.1.0 sinyal 1.7.0 mutluluk 0.7.11
boto3 1.34.69 botocore 1.34.69 Brotli 1.0.9
önbellek araçları 5.3.3 katalog 2.0.10 kategori kodlayıcıları 2.6.3
sertifi 2024.6.2 cffi 1.16.0 chardet 4.0.0
karakter seti normalleştirici 2.0.4 devre kesici 2.0.0 tıkla 8.1.7
cloudpathlib 0.19.0 cloudpickle (bulut serileştirme modülü) 2.2.1 cmdstanpy 1.2.4
renkli 0.5.6 renk günlüğü 6.8.2 iletişim 0.2.1
besteci 0.24.1 şekerleme 0.1.5 configparser 5.2.0
Contourpy 1.2.0 coolname 2.2.0 şifreleme 42.0.5
bisikletçi 0.11.0 cymem 2.0.8 Cython 3.0.11
dazit 1.8.1 databricks-automl-runtime 0.2.21 Databricks Özellik Mühendisliği 0.7.0
databricks yazılım geliştirme kiti (SDK) 0.30.0 veri kümeleri 2.20.0 dbl-tempo 0.1.26
dbus-python 1.3.2 debugpy 1.6.7 dekoratör 5.1.1
Deepspeed 0.14.4 defusedxml (zararsız hale getirilmiş XML) 0.7.1 Kullanım Dışı 1.2.14
dereotu 0.3.8 distlib 0.3.8 dm-tree 0.1.8
docstring'den markdown'a 0,11 giriş noktaları 0.4 değerlendir 0.4.2
Yürütme 0.8.3 özelliklere genel bakış 1.1.1 Farama Bildirimleri 0.0.4
fastjsonschema 2.20.0 fasttext-wheel 0.9.2 dosya kilidi 3.13.1
Şişe 2.2.5 FlatBuffers 24.3.25 font araçları 4.51.0
Fqdn 1.5.1 dondurulmuş liste 1.4.0 fsspec 2023.5.0
gelecek 0.18.3 misafir 0.4.0 gitdb 4.0.11
GitPython 3.1.37 google-api-core (Google API çekirdek kütüphanesi) 2.20.0 google-auth (kimlik doğrulama) 2.21.0
google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1 Google Bulut Depolama 2.10.0
google-crc32c 1.6.0 Google-Pasta 0.2.0 Google Devam Ettirilebilir Medya 2.7.2
googleapis-common-protos kütüphaneleri 1.65.0 gql 3.5.0 graphql-core 3.2.4
yeşillik 3.0.1 grpcio 1.60.0 grpcio-status 1.60.0
gunicorn 20.1.0 gviz-api 1.10.0 spor salonu 0.28.1
h11 0.14.0 h5py 3.11.0 hjson 3.1.0
Tatil 0,54 htmlmin (HTML küçültme aracı) 0.1.12 httpcore 1.0.5
httplib2 0.20.4 httpx 0.27.2 huggingface-hub (Hugging Face merkezi) 0.24.5
Uluslararası Alan Adları Uygulaması (IDNA) 3.7 Görüntü Hash 4.3.1 imageio 2.33.1
dengesiz-öğrenme 0.12.3 importlib-metadata 6.0.0 importlib_resources 6.4.5
çekimlemek 7.3.1 ipyflow-core 0.0.201 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils 0.2.0 ipywidgets (Python'da interaktif widget kütüphanesi) 7.7.2
izodat 0.6.1 İzodurasyon 20.11.0 bu tehlikeli 2.2.0
jaraco.context 5.3.0 jaraco.functools 4.0.1 jaraco.text 3.12.1
jax-jumpy 1.0.0 Jedi 0.19.1 Jinja2 3.1.4
titreşim 0.5.0 jmespath 1.0.1 joblib kütüphanesi 1.4.2
joblibspark 0.5.1 json5 0.9.6 json yaması 1,33
jsonpointer 3.0.0 JSON şeması 4.19.2 JSON şema belirtimleri 2023.7.1
Jupyter Etkinlikleri 0.10.0 jupyter-lsp 2.2.0 Jupyter istemcisi 8.6.0
jupyter_core 5.7.2 Jupyter sunucusu 2.14.1 Jupyter Sunucu Terminalleri 0.4.4
jupyterlab 4.0.11 jupyterlab-pygments 0.1.2 jupyterlab_server 2.25.1
Keras 3.5.0 kiwisolver 1.4.4 langchain 0.2.12
langchain-core 0.2.41 langchain metin ayırıcılar 0.2.4 dil kodları 3.4.1
langsmith 0.1.129 dil_verileri 1.2.0 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 tembel yükleyici 0.4
libclang 15.0.6.1 librosa 0.10.2 LightGBM (açık kaynak kodlu bir makine öğrenme algoritması) 4.5.0
yıldırım araçları 0.11.7 linkify-it-py 2.0.0 llvmlite 0.42.0
lz4 4.3.2 Mako 1.2.0 marisa-trie 1.2.0
Markdown 3.4.1 markdown-it-py 2.2.0 MarkupSafe 2.1.3
matplotlib (Python için popüler bir grafik kütüphanesi) 3.8.4 matplotlib-inline 0.1.6 Mccabe 0.7.0
mdit-py-plugins 0.3.0 mdurl 0.1.0 Memray 1.14.0
yanlış ayarlamak 2.0.4 ml-dtypes 0.4.1 mlflow-skinny 2.15.1
more-itertools kütüphanesi 10.3.0 mozaikml-cli 0.6.41 mosaicml-streaming 0.8.0
mpmath 1.3.0 msal 1.31.0 msal-eklentileri 1.2.0
msgpack 1.1.0 Multidict sözlük 6.0.4 çoklu yöntem 1.12
çok işlemcili 0.70.16 MurmurHash 1.0.10 mypy 1.10.0
mypy uzantıları 1.0.0 namex 0.0.8 nbclient 0.8.0
nbconvert (belge dönüştürme aracı) 7.10.0 nbformat 5.9.2 nest-asyncio 1.6.0
networkx 3.2.1 Ninja 1.11.1.1 nltk 3.8.1
nodeenv 1.9.1 defter 7.0.8 notebook_shim 0.2.3
numba 0.59.1 numpy kütüphanesi 1.26.4 nvidia-ml-py 12.560.30
oauthlib (kimlik doğrulama kütüphanesi) 3.2.0 Ocı 2.135.0 openai 1.40.2
opencensus 0.11.4 opencensus bağlamı 0.1.3 opentelemetry-API 1.27.0
opentelemetry-sdk 1.27.0 opentelemetry-anlamsal-kurallar 0,48b0 opt_einsum 3.4.0
optree 0.12.1 optuna 3.6.1 optuna entegrasyonu 3.6.0
orjson 3.10.7 Geçersiz kılınır 7.4.0 Ambalaj 24.1
Pandalar 1.5.3 pandoc filtreleri 1.5.0 paramiko 3.4.0
Parso 0.8.3 pathspec 0.10.3 Patsy 0.5.6
pexpect 4.8.0 phik 0.12.4 yastık 10.3.0
Pip 24,2 platformdirs 3.10.0 çizim 5.22.0
takılmış 1.0.0 pmdarima 2.0.4 köpekçik 1.8.2
portalocker 2.10.1 önceden gösterilmiş 3.0.9 prometheus-client 0.14.1
Prompt Araç Takımı 3.0.43 peygamber 1.1.5 proto-plus 1.24.0
Protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 saf değerlendirme 0.2.2 py-cpuinfo 9.0.0
py-spy 0.3.14 Pyarrow 15.0.2 pyarrow acil düzeltme 0,6
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.13.6
pyccolo 0.0.65 pycparser kütüphanesi 2.21 Python programlama dilinde veri doğrulama ve ayar yönetimi için kullanılan "pydantic" kütüphanesi. 2.8.2
pydantic_core 2.20.1 pyflakes 3.2.0 Pygmentler 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 PyNaCl 1.5.0
pyodbc 5.0.1 pyOpenSSL 24.0.0 pyparsing (bir Python kütüphanesi) 3.0.9
pyright 1.1.294 pytesseract 0.3.10 python-dateutil (Python tarih ve saat işleme kütüphanesi) 2.9.0.post0
python düzenleyicisi 1.0.4 python-json-logger 2.0.7 python-lsp-jsonrpc 1.1.2
python-lsp-server (Python LSP Sunucusu) 1.10.0 python-snappy 0.6.1 pytoolconfig 1.2.6
pytorch-ranger 0.1.1 pytz kütüphanesi (Python zaman dilimi hesaplamaları için kullanılan) 2024.1 PyWavelets 1.5.0
PyYAML 6.0.1 pyzmq 25.1.2 anket 1.10.0
ışın 2.35.0 referans alma 0.30.2 regex 2023.10.3
istekler 2.32.2 requests-oauthlib (bir OAuth şifreleme kütüphanesi) 1.3.1 RFC 3339 doğrulayıcı (rfc3339-validator) 0.1.4
RFC 3986 geçerlilik denetleyicisi 0.1.1 zengin 13.3.5 ip 1.12.0
rpds-py 0.10.6 RSA şifreleme algoritması 4,9 ruamel.yaml 0.18.6
ruamel.yaml.clib 0.2.8 s3transfer 0.10.2 güvenlitensörler 0.4.4
scikit-image 0.23.2 scikit-learn 1.4.2 SciPy 1.13.1
denizanadan 0.13.2 Send2Trash 1.8.2 cümle transformatörleri 3.0.1
cümle parçası 0.2.0 kurulum araçları 74.0.0 Shap 0.46.0
shellingham 1.5.4 simplejson 3.17.6 Altı 1.16.0
Dilimleyici 0.0.8 akıllı açılış 5.2.1 smmap 5.0.0
sniffio 1.3.0 ses dosyası 0.12.1 çorba süzgeci 2,5
soxr 0.5.0.post1 boşluklu 3.7.5 spacy-legacy (bir yazılım kütüphanesi veya araç adı olabilir) 3.0.12
spacy-loggers 1.0.5 SQLAlchemy 2.0.30 sqlparse 0.4.2
ciddiyim 2.4.8 ssh-import-id—SSH kimlik aktarımı komutu 5.11 yığın verisi 0.2.0
stanio 0.5.1 statsmodeller 0.14.2 Sympy (Python'da sembolik matematik kütüphanesi) 1.12
tablolaştırmak 0.9.0 unicode'da karışık 0.2.0 Azim 8.2.2
TensorBoard aracı 2.17.0 tensorboard-veri-sunucusu 0.7.2 tensorboard-plugin-profile (TensorBoard eklenti profili) 2.17.0
tensorboardX 2.6.2.2 TensorFlow 2.18.0 tensorflow-estimatör 2.15.0
termcolor 2.4.0 tamamlandı 0.17.1 Metin 0.81.0
tf_keras 2.17.0 thinc 8.2.5 threadpoolctl 2.2.0
tifffile 2023.4.12 tiktoken 0.7.0 tinycss2 1.2.1
tokenize-rt 4.2.1 belirteç oluşturucular 0.19.1 Tomli 2.0.1
meşale 2.4.0+cpu torç iyileştirici 0.3.0 torcheval 0.0.7
Torchmetrics 1.4.0.post0 meşale vizyonu 0.19.0+cpu hortum 6.4.1
tqdm (bir Python kütüphanesi) 4.66.4 Traitlets (Python kütüphanesi/modülü) 5.14.3 Transformers 4.44.0
typeguard (tip koruma) 4.3.0 Typer 0.12.5 türler-protobuf 3.20.3
types-psutil 5.9.0 types-pytz 2023.3.1.1 types-PyYAML 6.0.0
taleplerin türleri 2.31.0.0 types-setuptools 68.0.0.0 altı tip 1.16.0
types-urllib3 1.26.25.14 typing_extensions 4.11.0 uc-micro-py 1.0.1
ujson (hızlı JSON işleme kütüphanesi) 5.10.0 katılımsız yükseltmeler 0,1 uri şablonu 1.3.0
urllib3 1.26.16 doğrulayıcılar 0.34.0 virtualenv 20.26.2
Vizyonlar 0.7.5 wadllib 1.3.6 Wasabi 1.1.3
wcwidth (bir karakterin genişliğini hesaplayan fonksiyon) 0.2.5 gelincik 0.4.1 web renkleri 24.8.0
Web Kodlamaları 0.5.1 websocket istemcisi 1.8.0 websockets 11.0.3
Werkzeug 3.0.3 yama nedir 1.0.2 tekerlek 0.43.0
kelime bulutu 1.9.3 sarılmış 1.14.1 xgboost 2.0.3
xgboost-ray 0.1.19 xxhash 3.4.1 yapf 0.33.0
yarl 1.9.3 ydata-profil oluşturma 4.9.0 fermuar çek 3.17.0
zstd 1.5.5.1

Python kitaplıkları GPU kümeleri üzerinde

Kitaplık Sürüm Kitaplık Sürüm Kitaplık Sürüm
absl-py 1.0.0 hızlandırmak 0.33.0 aiohttp 3.9.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 açıklamalı türler 0.7.0
anyio 4.2.0 argcomplete 3.5.0 argon2-cffi 21.3.0
argon2-cffi-bağlantıları 21.2.0 oku seçin 1.2.3 Astor 0.8.1
ast jetonları 2.0.5 astunparse 1.6.3 async-lru 2.0.4
özellikler 23.1.0 sesli okuma 3.0.1 otomatik komut 2.2.2
azure-core 1.31.0 azure-cosmos 4.3.1 Azure-Kimlik 1.18.0
Azure depolama bloğu 12.23.1 Azure Depolama Dosya Veri Gölü 12.17.0 Babel 2.11.0
geri çekilme 2.2.1 backports.tarfile 1.2.0 bcrypt 3.2.0
beautifulsoup4 4.12.3 siyah 24.4.2 çamaşır suyu 4.1.0
sinyal 1.7.0 mutluluk 0.7.11 boto3 1.34.69
botocore 1.34.69 Brotli 1.0.9 önbellek araçları 5.3.3
katalog 2.0.10 kategori kodlayıcıları 2.6.3 sertifi 2024.6.2
cffi 1.16.0 chardet 4.0.0 karakter seti normalleştirici 2.0.4
devre kesici 2.0.0 tıkla 8.1.7 cloudpathlib 0.19.0
cloudpickle (bulut serileştirme modülü) 2.2.1 cmdstanpy 1.2.4 renkli 0.5.6
renk günlüğü 6.8.2 iletişim 0.2.1 besteci 0.24.1
şekerleme 0.1.5 configparser 5.2.0 Contourpy 1.2.0
coolname 2.2.0 şifreleme 42.0.5 bisikletçi 0.11.0
cymem 2.0.8 Cython 3.0.11 dazit 1.8.1
databricks-automl-runtime 0.2.21 Databricks Özellik Mühendisliği 0.7.0 databricks yazılım geliştirme kiti (SDK) 0.30.0
veri kümeleri 2.20.0 dbl-tempo 0.1.26 dbus-python 1.3.2
debugpy 1.6.7 dekoratör 5.1.1 Deepspeed 0.14.4
defusedxml (zararsız hale getirilmiş XML) 0.7.1 Kullanım Dışı 1.2.14 dereotu 0.3.8
distlib 0.3.8 dm-tree 0.1.8 docstring'den markdown'a 0,11
einops 0.8.0 giriş noktaları 0.4 değerlendir 0.4.2
Yürütme 0.8.3 özelliklere genel bakış 1.1.1 Farama Bildirimleri 0.0.4
fastjsonschema 2.20.0 fasttext-wheel 0.9.2 dosya kilidi 3.13.1
flash_attn 2.5.6 Şişe 2.2.5 FlatBuffers 24.3.25
font araçları 4.51.0 Fqdn 1.5.1 dondurulmuş liste 1.4.0
fsspec 2023.5.0 gelecek 0.18.3 misafir 0.4.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core (Google API çekirdek kütüphanesi) 2.20.0
google-auth (kimlik doğrulama) 2.21.0 google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1
Google Bulut Depolama 2.10.0 google-crc32c 1.6.0 Google-Pasta 0.2.0
Google Devam Ettirilebilir Medya 2.7.2 googleapis-common-protos kütüphaneleri 1.65.0 gql 3.5.0
graphql-core 3.2.4 yeşillik 3.0.1 grpcio 1.60.0
grpcio-status 1.60.0 gunicorn 20.1.0 gviz-api 1.10.0
spor salonu 0.28.1 h11 0.14.0 h5py 3.11.0
hjson 3.1.0 Tatil 0,54 htmlmin (HTML küçültme aracı) 0.1.12
httpcore 1.0.5 httplib2 0.20.4 httpx 0.27.2
huggingface-hub (Hugging Face merkezi) 0.24.5 Uluslararası Alan Adları Uygulaması (IDNA) 3.7 Görüntü Hash 4.3.1
imageio 2.33.1 dengesiz-öğrenme 0.12.3 importlib-metadata 6.0.0
importlib_resources 6.4.5 çekimlemek 7.3.1 ipyflow-core 0.0.201
ipykernel 6.28.0 ipython 8.25.0 ipython-genutils 0.2.0
ipywidgets (Python'da interaktif widget kütüphanesi) 7.7.2 izodat 0.6.1 İzodurasyon 20.11.0
bu tehlikeli 2.2.0 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 jax-jumpy 1.0.0 Jedi 0.19.1
Jinja2 3.1.4 titreşim 0.5.0 jmespath 1.0.1
joblib kütüphanesi 1.4.2 joblibspark 0.5.1 json5 0.9.6
json yaması 1,33 jsonpointer 3.0.0 JSON şeması 4.19.2
JSON şema belirtimleri 2023.7.1 Jupyter Etkinlikleri 0.10.0 jupyter-lsp 2.2.0
Jupyter istemcisi 8.6.0 jupyter_core 5.7.2 Jupyter sunucusu 2.14.1
Jupyter Sunucu Terminalleri 0.4.4 jupyterlab 4.0.11 jupyterlab-pygments 0.1.2
jupyterlab_server 2.25.1 Keras 3.5.0 kiwisolver 1.4.4
langchain 0.2.12 langchain-core 0.2.41 langchain metin ayırıcılar 0.2.4
dil kodları 3.4.1 langsmith 0.1.129 dil_verileri 1.2.0
launchpadlib 1.11.0 lazr.restfulclient 0.14.6 lazr.uri 1.0.6
tembel yükleyici 0.4 libclang 15.0.6.1 librosa 0.10.2
LightGBM (açık kaynak kodlu bir makine öğrenme algoritması) 4.5.0 yıldırım araçları 0.11.7 linkify-it-py 2.0.0
llvmlite 0.42.0 lz4 4.3.2 Mako 1.2.0
marisa-trie 1.2.0 Markdown 3.4.1 markdown-it-py 2.2.0
MarkupSafe 2.1.3 matplotlib (Python için popüler bir grafik kütüphanesi) 3.8.4 matplotlib-inline 0.1.6
Mccabe 0.7.0 mdit-py-plugins 0.3.0 mdurl 0.1.0
Memray 1.14.0 yanlış ayarlamak 2.0.4 ml-dtypes 0.4.1
mlflow-skinny 2.15.1 more-itertools kütüphanesi 10.3.0 mozaikml-cli 0.6.41
mosaicml-streaming 0.8.0 mpmath 1.3.0 msal 1.31.0
msal-eklentileri 1.2.0 msgpack 1.1.0 Multidict sözlük 6.0.4
çoklu yöntem 1.12 çok işlemcili 0.70.16 MurmurHash 1.0.10
mypy 1.10.0 mypy uzantıları 1.0.0 namex 0.0.8
nbclient 0.8.0 nbconvert (belge dönüştürme aracı) 7.10.0 nbformat 5.9.2
nest-asyncio 1.6.0 networkx 3.2.1 Ninja 1.11.1.1
nltk 3.8.1 nodeenv 1.9.1 defter 7.0.8
notebook_shim 0.2.3 numba 0.59.1 numpy kütüphanesi 1.26.4
nvidia-cublas-cu12 12.4.2.65 nvidia-cuda-cupti-cu12 12.4.99 nvidia-cuda-nvrtc-cu12 12.4.99
Nvidia CUDA Runtime - cu12 12.4.99 nvidia-cudnn-cu12 9.1.0.70 nvidia-cufft-cu12 11.2.0.44
nvidia-curand-cu12 10.3.5.119 nvidia-cusolver-cu12 11.6.0.99 nvidia-cusparse-cu12 12.3.0.142
nvidia-ml-py 12.560.30 nvidia-nccl-cu12 2.20.5 nvidia-nvjitlink-cu12 12.4.99
nvidia-nvtx-cu12 12.4.99 oauthlib (kimlik doğrulama kütüphanesi) 3.2.0 Ocı 2.135.0
openai 1.40.2 opencensus 0.11.4 opencensus bağlamı 0.1.3
opentelemetry-API 1.27.0 opentelemetry-sdk 1.27.0 opentelemetry-anlamsal-kurallar 0,48b0
opt_einsum 3.4.0 optree 0.12.1 optuna 3.6.1
optuna entegrasyonu 3.6.0 orjson 3.10.7 Geçersiz kılınır 7.4.0
Ambalaj 24.1 Pandalar 1.5.3 pandoc filtreleri 1.5.0
paramiko 3.4.0 Parso 0.8.3 pathspec 0.10.3
Patsy 0.5.6 pexpect 4.8.0 phik 0.12.4
yastık 10.3.0 Pip 24,2 platformdirs 3.10.0
çizim 5.22.0 takılmış 1.0.0 pmdarima 2.0.4
köpekçik 1.8.2 portalocker 2.10.1 önceden gösterilmiş 3.0.9
prometheus-client 0.14.1 Prompt Araç Takımı 3.0.43 peygamber 1.1.5
proto-plus 1.24.0 Protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 saf değerlendirme 0.2.2
py-cpuinfo 9.0.0 py-spy 0.3.14 Pyarrow 15.0.2
pyarrow acil düzeltme 0,6 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.13.6 pyccolo 0.0.65 pycparser kütüphanesi 2.21
Python programlama dilinde veri doğrulama ve ayar yönetimi için kullanılan "pydantic" kütüphanesi. 2.8.2 pydantic_core 2.20.1 pyflakes 3.2.0
Pygmentler 2.15.1 PyGObject 3.48.2 PyJWT 2.7.0
PyNaCl 1.5.0 pyodbc 5.0.1 pyOpenSSL 24.0.0
pyparsing (bir Python kütüphanesi) 3.0.9 pyright 1.1.294 pytesseract 0.3.10
python-dateutil (Python tarih ve saat işleme kütüphanesi) 2.9.0.post0 python düzenleyicisi 1.0.4 python-json-logger 2.0.7
python-lsp-jsonrpc 1.1.2 python-lsp-server (Python LSP Sunucusu) 1.10.0 python-snappy 0.6.1
pytoolconfig 1.2.6 pytorch-ranger 0.1.1 pytz kütüphanesi (Python zaman dilimi hesaplamaları için kullanılan) 2024.1
PyWavelets 1.5.0 PyYAML 6.0.1 pyzmq 25.1.2
anket 1.10.0 ışın 2.35.0 referans alma 0.30.2
regex 2023.10.3 istekler 2.32.2 requests-oauthlib (bir OAuth şifreleme kütüphanesi) 1.3.1
RFC 3339 doğrulayıcı (rfc3339-validator) 0.1.4 RFC 3986 geçerlilik denetleyicisi 0.1.1 zengin 13.3.5
ip 1.12.0 rpds-py 0.10.6 RSA şifreleme algoritması 4,9
ruamel.yaml 0.18.6 ruamel.yaml.clib 0.2.8 s3transfer 0.10.2
güvenlitensörler 0.4.4 scikit-image 0.23.2 scikit-learn 1.4.2
SciPy 1.13.1 denizanadan 0.13.2 Send2Trash 1.8.2
cümle transformatörleri 3.0.1 cümle parçası 0.2.0 kurulum araçları 74.0.0
Shap 0.46.0 shellingham 1.5.4 simplejson 3.17.6
Altı 1.16.0 Dilimleyici 0.0.8 akıllı açılış 5.2.1
smmap 5.0.0 sniffio 1.3.0 ses dosyası 0.12.1
çorba süzgeci 2,5 soxr 0.5.0.post1 boşluklu 3.7.5
spacy-legacy (bir yazılım kütüphanesi veya araç adı olabilir) 3.0.12 spacy-loggers 1.0.5 SQLAlchemy 2.0.30
sqlparse 0.4.2 ciddiyim 2.4.8 ssh-import-id—SSH kimlik aktarımı komutu 5.11
yığın verisi 0.2.0 stanio 0.5.1 statsmodeller 0.14.2
Sympy (Python'da sembolik matematik kütüphanesi) 1.12 tablolaştırmak 0.9.0 unicode'da karışık 0.2.0
Azim 8.2.2 TensorBoard aracı 2.17.0 tensorboard-veri-sunucusu 0.7.2
tensorboard-plugin-profile (TensorBoard eklenti profili) 2.17.0 tensorboardX 2.6.2.2 TensorFlow 2.18.0
tensorflow-estimatör 2.15.0 termcolor 2.4.0 tamamlandı 0.17.1
Metin 0.81.0 tf_keras 2.17.0 thinc 8.2.5
threadpoolctl 2.2.0 tifffile 2023.4.12 tiktoken 0.7.0
tinycss2 1.2.1 tokenize-rt 4.2.1 belirteç oluşturucular 0.19.1
Tomli 2.0.1 meşale 2.4.0+cu124 torç iyileştirici 0.3.0
torcheval 0.0.7 Torchmetrics 1.4.0.post0 meşale vizyonu 0.19.0+cu124
hortum 6.4.1 tqdm (bir Python kütüphanesi) 4.66.4 Traitlets (Python kütüphanesi/modülü) 5.14.3
Transformers 4.44.0 Triton 3.0.0 typeguard (tip koruma) 4.3.0
Typer 0.12.5 türler-protobuf 3.20.3 types-psutil 5.9.0
types-pytz 2023.3.1.1 types-PyYAML 6.0.0 taleplerin türleri 2.31.0.0
types-setuptools 68.0.0.0 altı tip 1.16.0 types-urllib3 1.26.25.14
typing_extensions 4.11.0 uc-micro-py 1.0.1 ujson (hızlı JSON işleme kütüphanesi) 5.10.0
katılımsız yükseltmeler 0,1 uri şablonu 1.3.0 urllib3 1.26.16
doğrulayıcılar 0.34.0 virtualenv 20.26.2 Vizyonlar 0.7.5
wadllib 1.3.6 Wasabi 1.1.3 wcwidth (bir karakterin genişliğini hesaplayan fonksiyon) 0.2.5
gelincik 0.4.1 web renkleri 24.8.0 Web Kodlamaları 0.5.1
websocket istemcisi 1.8.0 websockets 11.0.3 Werkzeug 3.0.3
yama nedir 1.0.2 tekerlek 0.43.0 kelime bulutu 1.9.3
sarılmış 1.14.1 xgboost 2.0.3 xgboost-ray 0.1.19
xxhash 3.4.1 yapf 0.33.0 yarl 1.9.3
ydata-profil oluşturma 4.9.0 fermuar çek 3.17.0 zstd 1.5.5.1

R kütüphaneleri

R kitaplıkları Databricks Runtime 16.0'daki R Kitaplıklarıyla aynıdır.

Java ve Scala kitaplıkları (Scala 2.12 kümesi)

Databricks Runtime 16.0'daki Java ve Scala kitaplıklarına ek olarak, Databricks Runtime 16.0 ML aşağıdaki JAR'leri içerir:

CPU kümeleri

Grup Kimliği Nesne Kimliği Sürüm
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU kümeleri

Grup Kimliği Nesne Kimliği Sürüm
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on