Databricks Runtime 15.1 (EoS)

Aşağıdaki sürüm notları, Apache Spark 3.5.0 tarafından desteklenen Databricks Runtime 15.1 hakkında bilgi sağlar.

Databricks bu sürümü Nisan 2024'te yayımladı.

Kırıcı değişiklikler

Makine Öğrenimi için Databricks Runtime 15.0 ve Databricks Runtime 15.0'a olan destek, pandas kitaplığının 1.5.3'ten 2.0.3'e yükseltilmesi nedeniyle birçok Apache Spark API'sinde köklü değişiklikler oluştuğundan, 31 Mayıs 2024'te sona erecektir. Hataya neden olan değişikliklerin ayrıntıları için bkz. Pandas Python kitaplığı 1.5.3 sürümüne düşürüldü. Bu uyumsuzluğu çözmek için Databricks, Machine Learning için Databricks Runtime 15.1 ve Databricks Runtime 15.1'i yayımladı. Bu sürümler tarafından desteklenen işlevsellik 15.0 sürümleriyle aynıdır ancak pandas sürümü 1.5.3 sürümüne düşürülmektedir.

Databricks Runtime 15.0 sürümlerini kullanan tüm mevcut kümeler veya işler çalışmaya devam eder ancak ürün veya güvenlik güncelleştirmelerini almaz. Artık Databricks kullanıcı arabiriminde Databricks Runtime 15.0 veya Databricks Runtime 15.0 ML kullanan yeni bir hesaplama yapılandıramazsınız. Pandas 2.0+ gerektiren özellikler veya API'ler kullanmıyorsanız, Databricks bu iş yüklerini Databricks Runtime 15.1'e geçirmenizi önerir.

Yalnızca pandas 2.0+ sürümünde kullanılabilen özellikleri veya API'leri kullanıyorsanız ve bu sürümden etkilenen işlevleri kullanmıyorsanız Databricks, Databricks Runtime 15.1'e geçmenizi ve küme veya not defteri kapsamlı kitaplıklar kullanarak varsayılan pandas paketini yükseltmenizi önerir. Örneğin, bir Databricks not defterindeki pandas kitaplığını yükseltmek için aşağıdaki komutu kullanın:

%pip install pandas==2.0.3

Pandas Python kitaplığı 1.5.3'e indirildi

Bu sürümde pandas kitaplığı sürüm 2.0.3'ten 1.5.3'e düşürülmektedir. Bu sürüm düşürme gerekliydi çünkü pandas'ın 2.0.3 sürümündeki uyumsuzluklar Spark işlevlerindeki bazı pandas API'lerinde hatalara neden oldu. Aşağıda pandas'ın 2.0.3 sürümünden etkilenen işlevler listelenmektedir:

• pyspark.date_range: Parametresi closed eksik, bu işlev mevcut kod tarafından çağrıldığında hatalara neden oluyor.
• GroupBy işlevi, MultiIndex sütunlarıyla değiştirildi ve bu, beklenmeyen davranışlara yol açar.
• Bazı datetime öznitelikleri DatetimeIndex (örneğin day, month, year ve benzeri) int32 veri türleri yerine int64 veri türleri döndürür.

PySpark spark.sql() işlevi artık geçersiz bağımsız değişken türleri için başarısız oluyor

Databricks Runtime 15.1 ve sonraki sürümlerinde, args işleve geçirilen adlandırılmış veya konumsal parametrelerin spark.sql() parametresi bir sözlük veya liste olmalıdır. Başka bir nesne türü geçirilirse aşağıdaki hata oluşur: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>.

Kitaplıkları DBFS kökünde depolamak artık önerilmemektedir ve varsayılan olarak devre dışı bırakılmıştır.

Azure Databricks çalışma alanında kitaplıkların güvenliğini artırmak için, kitaplık dosyalarını DBFS kökünde depolamak, Databricks Runtime 15.1'den başlayarak varsayılan olarak kullanımdan kaldırılır ve devre dışı bırakılır. Databricks, Python kitaplıklarını, JAR dosyalarını ve Spark bağlayıcılarını içeren tüm kitaplıkların çalışma alanı dosyalarına, Unity Kataloğu birimlerine veya paket deposuna yüklenmesini önerir. Bkz Kitaplıklar için yükleme önerileri.

Kitaplıkların DBFS kökünde depolanmasını yeniden etkinleştirmek için aşağıdaki Spark yapılandırma parametresini ayarlayın: spark.databricks.driver.dbfsLibraryInstallationAllowed true.

Varsayılan Python sürümü 3.10'dan 3.11'e yükseltilir

Databricks Runtime 15.1 ile varsayılan Python sürümü 3.11.0'dır. Yükseltilen Python kitaplıklarının listesi için bkz. Library yükseltmeleri.

JDK 11 kaldırıldı

Daha önce duyurulmuş olduğu gibi JDK 11, Databricks Runtime 15.1 ve sonraki sürümlerden kaldırılmıştır. Databricks, Databricks Runtime 15.1 ve sonraki sürümlere yükseltirken JDK 17'ye yükseltmeyi önerir. Databricks SDK'sı için Java'ya bakın.

Python REPL artık düzgün bir şekilde sonlandırıyor

Databricks Runtime 15.1 ile not defterinin Python REPL işlemi artık çıkışta düzgün bir şekilde sonlandırılır. Bu, tüm atexit kancalarının etkinleştirilmesine neden olur. Örneğin, birden çok Python not defteri görevi olan bir iş akışında, ilk göreve kaydedilen atexit kancaları ikinci Python not defteri görevi çalışmadan önce yürütülür.

Yeni özellikler ve geliştirmeler

• * (yıldız) maddesi artık WHERE maddesi'de destekleniyor.
• Yapılandırma spark.sql.json.enablePartialResults artık varsayılan olarak etkindir
• Küme kitaplıkları artık requirements.txt dosyalarını destekliyor
• Databricks CLI artık web terminalinde kullanılabilir
• Küme yapılandırmalarına varsayılan Python depoları ekleyin
• Standart kümelerde kullanılabilen web terminali
• Kimlik bilgisi aktarımı ve Hive metastore tablo erişim denetimleri artık kullanılmamaktadır

* (star) yan tümcesi artık WHERE yan tümcesinde destekleniyor

Artık * yan tümcesindeki star (WHERE) ifadesini, SELECT listesindeki tüm sütunlara başvurmak için kullanabilirsiniz. Örneğin, SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Yapılandırma spark.sql.json.enablePartialResults artık varsayılan olarak etkindir

Spark yapılandırması spark.sql.json.enablePartialResults artık varsayılan olarak etkindir ve JSON ayrıştırıcısının kalan alanları bırakmadan yapı, eşleme ve dizi gibi karmaşık türler için ayrıştırma hatalarını doğru şekilde işlemesine olanak tanır. Bu değişiklik, sütun ayıklama ile JSON veri kaynakları için bir tutarlılık sorununu düzeltir.

Küme kitaplıkları artık requirements.txt dosyalarını destekliyor

Artık bir çalışma alanı dosyasında veya Unity Kataloğu biriminde depolanan bir requirements.txt dosyayı kullanarak küme kitaplıklarını yükleyebilirsiniz. Ayrılmış ve Standart erişim modu kümelerinde dosya diğer dosyalara requirements.txt başvurabilir. Yalıtımsız paylaşılan erişim modu kümelerinde yalnızca PyPI paketleri desteklenir. Bkz. İşlem kapsamlı kütüphaneler.

Databricks CLI artık web terminalinde kullanılabilir

Artık not defterindeki web terminalinden Databricks CLI'yi kullanabilirsiniz. Not defteri Ayrılmış veya Yalıtımsız paylaşılan erişim modunda bir kümeye eklenmelidir. Ayrıntılar için Web terminali ve Databricks CLI kullanma bölümüne bakın.

Küme yapılandırmalarına varsayılan Python depoları ekleme

Databricks Runtime 15.1 ve sonraki sürümlerinde, kümeyi yapılandırırken veya küme ilkesi tanımlarken küme ve notebook kapsamlı kitaplık yüklemesi için genel pip index-urlextra-index-url parametreler yapılandırabilirsiniz. Bunu yapmak için ve ortam değişkenlerini DATABRICKS_PIP_INDEX_URLDATABRICKS_PIP_EXTRA_INDEX_URLayarlayın.

Standart kümelerde kullanılabilen web terminali

Databricks Runtime 15.1 ve üzerinde, Standart erişim modu olan kümelerde web terminali kullanabilirsiniz.

Kimlik bilgisi geçişi ve Hive meta veri deposu tablo erişim kontrolleri kullanım dışı bırakıldı

Kimlik bilgileri geçişi ve Hive meta veri deposu tablo erişim denetimleri eski veri idare modelleridir. Hesabınızdaki birden çok çalışma alanında veri erişimini yönetmek ve denetlemek için merkezi bir yer sağlayarak verilerinizin güvenliğini ve idaresini basitleştirmek için Unity Kataloğu'na yükseltin. Unity Kataloğu nedir? bölümüne bakın.

Kimlik bilgisi geçişi ve Hive meta veri deposu tablo erişim denetimleri desteği, yaklaşan Databricks Runtime sürümünde kaldırılacak.

Kitaplık yükseltmeleri

• Yükseltilmiş Python kitaplıkları:
  • Siyah 22.6.0 sürümünden 23.3.0 sürümüne
  • boto3 1.24.28 ile 1.34.39
  • 1.27.96'dan 1.34.39'a botocore
  • certifi 2022.12.7 ile 2023.7.22
  • 39.0.1 ile 41.0.3 arasında şifreleme
  • 0.1.6 ile 0.20.0 arası databricks-sdk
  • distlib 0.3.7'den 0.3.8'e
  • 1.62.0 ile 1.63.0 arası googleapis-common-protos
  • grpcio 1.48.2 sürümünden 1.60.0 sürümüne
  • grpcio-status'u sürüm 1.48.1'den 1.60.0'a güncelleme
  • 4.6.4 ile 6.0.0 arası importlib-metadata
  • ipykernel 6.25.0'dan 6.25.1'e
  • 8.14.0 ile 8.15.0 arasında ipython
  • ipywidgets 7.7.2 sürümünden 8.0.4 sürümüne
  • jupyter_core 5.2.0'dan 5.3.0'a güncellendi
  • 1.0.0 ile 3.0.5 arası jupyterlab pencere öğeleri
  • matplotlib 3.7.0'dan 3.7.2'ye
  • pip sürümü 22.3.1'den 23.2.1'e güncelleme
  • platformdirs 2.5.2 sürümünden 3.10.0 sürümüne
  • 4.24.0 ile 4.24.1 arasındaki protobuf
  • pyarrow 8.0.0 ile 14.0.1 arasında
  • Pygments 2.11.2'den 2.15.1'e
  • pyodbc 4.0.32 ile 4.0.38 arasında
  • 2.28.1 ile 2.31.0 için istekler
  • s3transfer 0.6.2 sürümünden 0.10.0 sürümüne
  • 1.1.1 ile 1.3.0 arası scikit-learn
  • scipy sürümünden 1.10.0 sürümüne 1.11.1
  • 65.6.3 ile 68.0.0 için kurulum araçları
  • statsmodels 0.13.5'ten 0.14.0'a
  • tenacity 8.1.0'dan 8.2.2'ye
  • tornado 6.1'den 6.3.2'ye
  • typing_extensions 4.4.0'dan 4.7.1'e
  • urllib3 sürüm 1.26.14'ten 1.26.16'ya
  • virtualenv 20.16.7 ile 20.24.2
  • widgetsnbextension 3.6.1 sürümünden 4.0.5 sürümüne
  • zipp 1.0.0'dan 3.11.0'e
• Yükseltilen R kütüphaneleri:
  • 12.0.1 sürümünden 14.0.0.2 sürümüne ok
  • 1.1'den 1.2.0'a kadar askpass
  • 4.3.1'den 4.3.2'ye geçiş temeli
  • 1.0-8 ile 1.0-10 arası bira
  • brio 1.1.3'ten 1.1.4'e
  • bslib 0.5.0 ile 0.6.1
  • cli'yi 3.6.1'den 3.6.2'ye
  • commonmark 1.9.0'dan 1.9.1'e
  • derleyici sürümünü 4.3.1'den 4.3.2'ye
  • 0.3.1'den 0.3.2'ye yapılandırma
  • cpp11 0.4.4 ile 0.4.7
  • 1.3.2 ile 2.0.1 kimlik bilgileri
  • curl'u 5.0.1'den 5.2.0'ye güncelleme
  • data.table 1.14.8 sürümünden 1.15.0 sürümüne
  • 4.3.1 ile 4.3.2 arasında veri kümeleri
  • DBI 1.1.3'ten 1.2.1'e
  • dbplyr 2.3.3'ten 2.4.0'e
  • 1.4.2'den 1.4.3'e açıklama
  • özet 0.6.33 ile 0.6.34
  • 1.1.2 ile 1.1.4 aralığındaki dplyr
  • e1071 1.7-13 ile 1.7-14 arası
  • 0,21'den 0,23'e arasında değerlendir
  • fansi sürümü 1.0.4'ten 1.0.6'ya güncelleme
  • fontawesome sürümünü 0.5.1'den 0.5.2'ye
  • fs 1.6.2'den 1.6.3'e
  • 1.33.0'dan 1.33.1'e gelecekteki değişiklikler
  • future.apply sürümü 1.11.0'dan 1.11.1'e güncellendi
  • 1.5.1'den 1.5.2'ye kadar gargara
  • gert 1.9.2'den 2.0.1'e
  • ggplot2 3.4.2 ile 3.4.4
  • 4.1-7 ile 4.1-8 arası glmnet
  • glue 1.6.2 sürümünden 1.7.0 sürümüne
  • 4.3.1 ile 4.3.2 için grafikler
  • grDevices 4.3.1 sürümünden 4.3.2 sürümüne
  • ızgara 4.3.1'den 4.3.2'ye
  • gtable 0.3.3'ten 0.3.4'e
  • hardhat sürümü 1.3.0'dan 1.3.1'e güncellendi
  • haven 2.5.3'den 2.5.4'e
  • htmltools sürüm 0.5.5'ten 0.5.7'ye
  • htmlwidgets yazılımının 1.6.2 sürümünden 1.6.4 sürümüne yükseltilmesi
  • httpuv 1.6.11'den 1.6.14'e
  • httr 1.4.6'dan 1.4.7'ye
  • httr2 0.2.3'ten 1.0.0'a
  • 1.8.7 ile 1.8.8 arasındaki jsonlite
  • knitr sürümü 1,43'ten 1,45'e
  • 0.4.2'den 0.4.3'e etiketleme
  • daha sonra 1.3.1'den 1.3.2'ye
  • lava 1.7.2.1'den 1.7.3'e
  • 1.0.3'ten 1.0.4'e yaşam döngüsü
  • listenv 0.9.0'dan 0.9.1'e
  • lubridate 1.9.2'den 1.9.3'e
  • markdown 1,7 ile 1,12
  • 4.3.1 ile 4.3.2 yöntemleri
  • openssl 2.0.6'dan 2.1.1'e
  • 4.3.1 ile 4.3.2 arasında paralellik
  • pkgbuild 1.4.2’den 1.4.3’e
  • pkgload 1.3.2.1 sürümünden 1.3.4 sürümüne
  • plyr 1.8.8'den 1.8.9'a
  • prettyunits 1.1.1 sürümünden 1.2.0 sürümüne
  • pROC 1.18.4 ile 1.18.5
  • 3.8.2 ile 3.8.3 arasinda processx
  • prodlim from 2023.03.31 to 2023.08.28
  • 1.2.2'den 1.2.3'e ilerleme durumu
  • progressr 0.13.0'dan 0.14.0'a
  • 1.2.0.1'den 1.2.1'e kadar olan vaatler
  • ps 1.7.5'ten 1.7.6'ya
  • purrr sürümü 1.0.1'den 1.0.2'ye güncellendi
  • ragg 1.2.5'ten 1.2.7'ye
  • Rcpp 1.0.11 ile 1.0.12
  • RcppEigen 0.3.3.9.3'ten 0.3.3.9.4'e
  • readr 2.1.4'ten 2.1.5'e güncellendi
  • 1.0.6 ila 1.0.9 yemek tarifleri
  • 1.0.1'den 2.0.0'a yeniden eşleşme
  • 2.4.2 ile 2.4.2.1 uzaktan kumandaları
  • 2.0.2'den 2.1.0'a yeniden kullanım
  • 1.1.1 ile 1.1.3 arası rlang
  • rmarkdown 2.23'ten 2.25'e
  • RODBC 1.3-20 ile 1.3-23 arası
  • roxygen2 7.2.3'ten 7.3.1'e
  • 2.0.3 ile 2.0.4 arasında rprojroot
  • Rserve 1.8-11'den 1.8-13'e
  • 2.3.1 ile 2.3.5 arasında RSQLite
  • sass 0.4.6'dan 0.4.8'e
  • 1.2.1'den 1.3.0'a ölçeklendirilir
  • parlak 1.7.4.1 ile 1.8.0
  • sparklyr 1.8.1 ile 1.8.4
  • 4.3.1 ile 4.3.2 splines
  • 4.3.1 ile 4.3.2 arasındaki istatistikler
  • stats4'ün 4.3.1 sürümünden 4.3.2 sürümüne güncellenmesi
  • stringi 1.7.12'den 1.8.3'e
  • stringr 1.5.0'dan 1.5.1'e
  • 1.0.4'ten 1.0.5'e kadar sistemfontları
  • tcltk 4.3.1'den 4.3.2'ye
  • testthat 3.1.10 sürümünden 3.2.1 sürümüne
  • 0.3.6'dan 0.3.7'ye metin şekillendirme
  • tidyr sürüm 1.3.0'dan 1.3.1'e
  • zaman değişimi 0.2.0 ile 0.3.0 arasında
  • timeDate 4022.108'dan 4032.109'a
  • tinytex 0,45'ten 0,49'a
  • 4.3.1'den 4.3.2'ye kadar araçlar
  • utf8 1.2.3'ten 1.2.4'e
  • 4.3.1'den 4.3.2'ye kadar olan yardımcı programlar
  • uuid 1.1-0'dan 1.2-0'a
  • 0.6.3'ten 0.6.5'e kadarki vctrs
  • vroom 1.6.3 sürümünden 1.6.5 sürümüne
  • waldo 0.5.1'den 0.5.2'ye
  • 2.5.0'dan 3.0.0'a
  • 0.39'dan 0.41'e xfun
  • 1.3.5 ile 1.3.6 arasındaki xml2
  • yaml 2.3.7 ile 2.3.8
  • zip 2.3.0 sürümünden 2.3.1 sürümüne
• Yükseltilmiş Java kitaplıkları:
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 2.15.1 ile 2.16.0 arası
  • com.google.flatbuffers.flatbuffers-java 1.12.0 ile 23.5.26 arası
  • com.typesafe.config sürüm 1.2.1'den 1.4.3'e
  • org.apache.ant.ant 1.9.16'dan 1.10.11'e
  • org.apache.ant.ant-jsch 1.9.16 ile 1.10.11 arası
  • org.apache.ant.ant-launcher 1.9.16 ile 1.10.11 arası
  • org.apache.arrow.arrow-format sürümünü 12.0.1'den 15.0.0'a güncelleme
  • org.apache.arrow.arrow-memory-core 12.0.1 sürümünden 15.0.0 sürümüne
  • org.apache.arrow.arrow-memory-netty 12.0.1 sürümünden 15.0.0 sürümüne
  • org.apache.arrow.arrow-vector 12.0.1 versiyonundan 15.0.0 versiyonuna
  • org.apache.avro.avro 1.11.2'den 1.11.3'e
  • org.apache.avro.avro-ipc 1.11.2 ile 1.11.3 arası
  • org.apache.avro.avro-mapred 1.11.2'den 1.11.3'e
  • 2.20.0 ile 2.22.1 arası org.apache.logging.log4j.log4j-1.2-api
  • 2.20.0 ile 2.22.1 arası org.apache.logging.log4j.log4j-api
  • org.apache.logging.log4j.log4j-core 2.20.0 ile 2.22.1 arası
  • org.apache.logging.log4j.log4j-slf4j2-impl 2.20.0 ile 2.22.1 arası
  • org.postgresql.postgresql sürümü 42.6.0'dan 42.6.1'e güncellendi

Apache Spark

Databricks Runtime 15.1, Apache Spark 3.5.0'ı içerir. Bu sürüm, Databricks Runtime 14.3 LTS'deki tüm Spark düzeltmeleri ve iyileştirmelerinin yanı sıra Spark'ta yapılan aşağıdaki ek hata düzeltmelerini ve iyileştirmeleri içerir:

• [SPARK-45527] [DBRRM-805][es-1073714] “[SC-151626][core] Kaynak hesaplamasında kesir kullanma işlemini geri al”
• [SPARK-47102] [DBRRM-803][sc-158253][SQL] Yapılandırma bayrağını COLLATION_ENABLED ekleme
• [SPARK-46973] [SC-158140][dbrrm-777][SQL] Bir tablo V1 tablo önbelleğindeyken V2 tablosu arama atla
• [SPARK-46808] [SC-154113][python] Otomatik sıralama işleviyle Python'de hata sınıflarını iyileştirme
• [SPARK-47251] [SC-158291][python] args komutu için sql bağımsız değişkeninden geçersiz türlerin engellenmesi
• [SPARK-47251] [SC-158121][python] komutunda args argümanındaki geçersiz türleri engelle
• [SPARK-47108] [SC-157204][core] CLI'lerde derby.connection.requireAuthenticationfalse olarak açıkça ayarla
• [SPARK-45599] [SC-157537][core] OpenHashSet'te nesne eşitliğini kullanma
• [SPARK-47099] [SC-157352][sql] ordinalNumber'yi kullanarak hata sınıfı paramIndex için UNEXPECTED_INPUT_TYPE değerini tekdüzen şekilde ayarlayın.
• [SPARK-46558] [SC-151363][connect] içinde MessageParameters'in ErrorParams'den alınmasını sağlayan yinelenen kodu ortadan kaldırmak için bir yardımcı işlev ayıklayın GrpcExceptionConverter.
• [SPARK-43117] [SC-156177][connect] Yinelenen alanlar için destek oluşturma ProtoUtils.abbreviate
• [SPARK-46342] [SC-150283][sql] sql içinde IllegalStateException şununla SparkException.internalError değiştir
• [SPARK-47123] [SC-157412][core] JDBCRDD getQueryOutputSchema'daki hataları doğru işlemez
• [SPARK-47189] [SC-157667][sql] Sütun hata adlarını ve metnini ayarlama
• [SPARK-45789] [SC-157101][sql] Sütunları kümeleme desteği DESCRIBE TABLE
• [SPARK-43256] [SC-157699][sql] Hata sınıfını kaldırma _LEGACY_ERROR_TEMP_2021
• [SPARK-47201] [SC-157782][python][CONNECT] sameSemantics giriş türlerini denetler
• [SPARK-47183] [SC-157660][python] için hata sınıfı düzeltildi sameSemantics
• [SPARK-47179] [SC-157663][sql] Daha iyi hata ayıklanabilirlik için SparkThrowableSuite hata iletisini iyileştirme
• [SPARK-46965] [SC-155791][core] Kontrol et logType içinde Utils.getLog
• [SPARK-46832] [SC-156774][sql] Dizme ve Dizim ifadelerine giriş
• [SPARK-46946] [SC-155721][sql] DynamicPruning'de birden çok filtreleme anahtarının yayınını destekleme
• [SPARK-47079] [VARIANT-22][sc-157598][PYTHON][sql][CONNECT] PySpark'a Değişken türü bilgisi ekleme
• [SPARK-47101] [SC-157360][sql] En üst düzey sütun adlarında virgül kullanılmasına izin ver ve iç içe yerleştirilmiş tür tanımını kontrol etmeyi durdur HiveExternalCatalog.verifyDataSchema
• [SPARK-47173] [SC-157571][ss][UI] Akış kullanıcı arabirimi açıklamasında yazım hatası düzeltildi
• [SPARK-47113] [SC-157348][core] SPARK-35878'in S3A uç nokta düzeltme mantığını geri döndürme
• [SPARK-47130] [SC-157462][core] Sürücü günlüklerini temizlerken blok konumu bilgilerini atlamak için listStatus kullanma
• [SPARK-43259] [SC-157368][sql] Hata sınıfına ad atama _LEGACY_ERROR_TEMP_2024
• [SPARK-47104] [SC-157355][sql] TakeOrderedAndProjectExec güvenli olmayan yansıtmayı başlatmalıdır
• [SPARK-47137] [SC-157463][python][CONNECT] Scala ile özellik eşliği için spark.conf'a getAll ekleme
• [SPARK-46924] [SC-154905][core] Günlük Kullanıcı Arabirimindeki Load New düğmesini düzelt Master/HistoryServer
• [SPARK-47069] [SC-157370][python][CONNECT] SparkSession tabanlı profil oluşturma için tanıtım spark.profile.show/dump
• [SPARK-46812] [SC-157075][sql][PYTHON] mapInPandas / mapInArrow desteği ResourceProfile yapın
• [SPARK-46833] [SC-155866][sql] Harmanlamalar - Desteklenen harmanlamalar için karşılaştırma ve karma kuralları sağlayan CollationFactory tanıtımı
• [SPARK-47057] [SC-157036][python] MyPy veri testini yeniden oluşturun
• [SPARK-46934] [SC-157084][sql] HMS ile özel karakterler içeren yapı türü için okuma/yazma gidiş dönüş
• [SPARK-46727] [SC-153472][sql] Hata sınıflarında JDBC diyalektlerinde bağlantı noktası classifyException()
• [SPARK-46964] [SC-155740][sql] HllInvalidLgK sorgu yürütme hatasının imzasını değiştirerek 4. bağımsız değişken olarak bir tamsayı alma
• [SPARK-46949] [SC-155719][sql] ResolveDefaultColumns aracılığıyla CHAR/VARCHAR desteği
• [SPARK-46972] [SC-155888][sql] V2SessionCatalog.createTable'da char/varchar için asimetrik değiştirme düzeltildi
• [SPARK-47014] [SC-156778][python][CONNECT] DumpPerfProfiles ve dumpMemoryProfiles of SparkSession yöntemlerini uygulama
• [SPARK-46689] [SC-156221][spark-46690][PYTHON][connect] group/cogroup applyInPandas/applyInArrow işlemlerinde v2 profil oluşturma desteği
• [SPARK-47040] [SC-156773][connect] Spark Connect Sunucu Betiğinin beklemesine izin ver
• [SPARK-46688] [SC-156113][spark-46691][PYTHON][connect] Toplam Pandas UDF'lerinde v2 profili oluşturmayı destekleme
• [SPARK-47004] [SC-156499][connect] Scala istemci testi kapsamını artırmak için ClientStreamingQuerySuite'a daha fazla test eklendi
• [SPARK-46994] [SC-156169][python] PythonWrite'i python veri kaynağı akışı yazma desteği için hazırlamak üzere yeniden düzenleme
• [SPARK-46979] [SC-156587][ss] Anahtar ve değer kodlayıcıyı ayrıca RocksDB durum deposu sağlayıcısındaki her col ailesi için ayrı olarak belirtmek için destek ekleyin
• [SPARK-46960] [SC-155940][ss] TransformWithState işleciyle Birden Çok Giriş Akışını Test Etme
• [SPARK-46966] [SC-156112][python] Seçilebilecek giriş tablosu sütunlarının alt kümesini belirtmek üzere 'çözümle' yöntemi için UDTF API'sini ekleme
• [SPARK-46895] [SC-155950][core] Zamanlayıcıyı tek iş parçacıklı planlanmış yürüten ile değiştirme
• [SPARK-46967] [SC-155815][core][UI] Thread Dump kullanıcı arayüzünde Heap Histogram yürütücülerinin Dead ve Executors'sini gizleme
• [SPARK-46512] [SC-155826][core] Hem sıralama hem de birleştirme kullanıldığında karıştırma okumayı en iyi duruma getirme.
• [SPARK-46958] [SC-155942][sql] Varsayılan değerleri zorlamak için eksik saat dilimi ekleme
• [SPARK-46754] [SC-153830][sql][AVRO] Avro tablo tanımı ve yazma seçeneklerinde sıkıştırma kodu çözümlemesi düzeltildi
• [SPARK-46728] [SC-154207][python] Pandas yüklemesini düzgün denetleyin
• [SPARK-43403] [SC-154216][ui] HistoryServer'da eski SparkUI'nin yenisini yüklemeden önce ayrılmış olduğundan emin olun
• [SPARK-39910] [SC-156203][sql] DataSource dosya yolu globbing işlemi sırasında yol niteliğinin dosya sistemine delege edilmesi
• [SPARK-47000] [SC-156123] “[SC-156123][core] Use getTotalMemorySize... geri dön”
• [SPARK-46819] [SC-154560][core] Hata kategorilerini ve durumlarını JSON'a taşıma
• [SPARK-46997] [SC-156175][core] Varsayılan olarak etkinleştir spark.worker.cleanup.enabled
• [SPARK-46865] [SC-156168][ss] TransformWithState İşleci için Toplu Destek Ekleme
• [SPARK-46987] [SC-156040][connect] ProtoUtils.abbreviate gereksiz setField işlemlerden kaçının
• [SPARK-46970] [SC-155816][core] ile yeniden yazma OpenHashSet#hasherpattern matching
• [SPARK-46984] [SC-156024][python] pyspark.copy_func kaldırma
• [SPARK-47000] [SC-156123][core] getTotalMemorySize kullan WorkerArguments içinde
• [SPARK-46980] [SC-155914][sql][MINOR] Veri çerçevesi uçtan uca testlerde iç API'leri kullanmaktan kaçının
• [SPARK-46931] Revert "[SC-155661][ps] Implement {Frame, Series}.to_hdf"
• [SPARK-46618] [SC-153828][sql] hata iletilerini DATA_SOURCE_NOT_FOUND hata için iyileştirme
• [SPARK-46849] [SC-154586][sql] Sütun varsayılanlarında CREATE TABLE iyileştiriciyi çalıştırma
• [SPARK-46911] [SC-155724][ss] StatefulProcessorHandleImpl'e deleteIfExists işleci ekleme
• [SPARK-43273] [SQL] Parquet için sıkıştırma codec'i desteği lz4raw
• [SPARK-47002] [SC-156223][python] UDTF 'çözümle' yöntemi 'orderBy' alanı yanlışlıkla dizelerin listesini döndürürse daha iyi hata iletisi döndür
• [SPARK-46890] [SC-155802][sql] Varlık varsayılanları ve sütun budama ile ilgili CSV ayrıştırma hatası düzeltildi
• [SPARK-46977] [SC-155892][core] Bir NameNode'dan belirteç alma isteği başarısız oldu, sonraki belirteç isteklerini atlamamalıdır
• [SPARK-46608] [SC-151806][sql] Geriye dönük uyumluluğu geri yükle JdbcDialect.classifyException
• [SPARK-46908] [SC-155702][sql] WHERE ifadesinde yıldız tümcesini destekleme
• [SPARK-46908] [SC-155702][sql] WHERE ifadesinde yıldız tümcesini destekleme
• [SPARK-46852] [SC-155665][ss] Açık anahtar kodlayıcı kullanımını kaldırın ve transformWithState operatörü için dolaylı yoldan işleticiye iletin.
• [SPARK-46864] [SC-155669][ss] Arbitrary StateV2'i Yeni Hata Sınıfı Çerçevesine Ekleme
• [SPARK-45807] [SC-155706][sql] replaceView(..) çağrıldıktan sonra Görünümü Döndür
• [SPARK-46899] [SC-154651][core] POST API'leri MasterWebUI'den kaldır, spark.ui.killEnabled olduğunda false
• [SPARK-46868] [SC-154539][core] Spark İşçi Günlüğü Kullanıcı Arayüzü desteği
• [SPARK-46931] [SC-155661][ps] Uygulama {Frame, Series}.to_hdf
• [SPARK-46940] [SC-155667][core] Kullanılmayan updateSparkConfigFromProperties ve isAbsoluteURIo.a.s.u.Utils içinde kaldırılacak
• [SPARK-46929] [SC-155659][core][CONNECT][ss] İş parçacığı havuzlarını kapatmak için ThreadUtils.shutdown metodunu kullanmak
• [SPARK-46400] [SC-155658][core][SQL] Yerel maven deposunda bozuk dosyalar olduğunda, bu önbelleği atlayın ve yeniden deneyin
• [SPARK-46932] [SC-155655] içeri aktarmaları temizle pyspark.pandas.test_*
• [SPARK-46683] [SC-154120] Test kapsamını artırmak için alt sorgu permütasyonları oluşturan bir alt sorgu oluşturucu yazma
• [SPARK-46914] [SC-154776][ui] Geçmiş Sayfasındaki özet tablosunda uygulama adını kısaltma
• [SPARK-46831] [SC-154699][sql] Harmanlamalar - StringType ve PhysicalStringType'ı collationId alanıyla genişletme
• [SPARK-46816] [SC-154415][ss] Değişiklik günlüğü denetim noktası oluşturma ile/olmadan RocksDBStateStoreProvider için yeni değişken durum yönetimi işleci, tek bir valueState türü, birden çok durum değişkeni ve sütun aileleri için temel destek eklendi.
• [SPARK-46925] [SC-154890][python][CONNECT] Bellek profili oluşturma için memory_profiler yüklemesini belirten bir uyarı ekleyin
• [SPARK-46927] [SC-154904][python] assertDataFrameEqual PyArrow olmadan düzgün çalışmasını sağla
• [SPARK-46021] [SC-148987][core] Bir iş grubuna ait gelecekteki işleri iptal etme desteği
• [SPARK-46747] [SC-154789][sql] JDBC Diyalektleri için getTableExistsQuery'de tarama yapmaktan kaçının
• [SPARK-46904] [SC-154704][ui] Geçmiş kullanıcı arabirimi özetinin görüntüleme sorunu düzeltildi
• [SPARK-46870] [SC-154541][core] Spark Ana Günlük Kullanıcı Arabirimi desteği
• [SPARK-46893] [SC-154780][ui] Kullanıcı arabirimi açıklamalarından satır içi betikleri kaldırma
• [SPARK-46910] [SC-154760][python] PySpark Yüklemesinde JDK Gereksinimini Ortadan Kaldırma
• [SPARK-46907] [SC-154736][core] Spark Geçmiş Sunucusu'nda sürücü günlüğü konumunu gösterme
• [SPARK-46902] [SC-154661][ui] Spark Geçmiş Sunucusu UI'sini ihraç edilmeyen setAppLimit kullanımı için düzeltme
• [SPARK-46687] [SC-154725][python][CONNECT] SparkSession tabanlı bellek profil oluşturucusunun temel desteği
• [SPARK-46623] [SC-153831][core][MLLIB][sql] SimpleDateFormat'ı DateTimeFormatter ile değiştirme
• [SPARK-46875] [SC-154627][sql] mode Null olduğunda, bir NullPointException atılmalıdır not
• [SPARK-46872] [SC-154543][core] Modül olmaktan çıkarılmasını sağla log-view.js
• [SPARK-46883] [SC-154629][core] Destek /json/clusterutilization API'si
• [SPARK-46886] [SC-154630][core] Varsayılan olarak etkinleştir spark.ui.prometheus.enabled
• [SPARK-46873] [SC-154638][ss] Aynı Spark Oturumu için yeni bir StreamingQueryManager oluşturmayın
• [SPARK-46829] [SC-154419][core] CreateExecutorEnv'i SparkEnv'den kaldırma
• [SPARK-46827] [SC-154280][core] Simgesel bağlantıyı desteklemek için oluşturun RocksDBPersistenceEngine
• [SPARK-46903] [SC-154662][core] Spark Geçmiş Sunucusu Logları için Kullanıcı Arabirimi desteği
• [SPARK-46874] [SC-154646][python] Bağımlılığı kaldırma pyspark.pandasassertDataFrameEqual
• [SPARK-46889] [SC-154639][core] Ayarı doğrulama spark.master.ui.decommission.allow.mode
• [SPARK-46850] [SC-154443][sql] _LEGACY_ERROR_TEMP_2102 'den UNSUPPORTED_DATATYPE'ye dönüştür
• [SPARK-46704] [SC-153323][core][UI] Tabloyu MasterPage sütuna göre doğru sıralama Running Drivers düzeltmesi Duration
• [SPARK-46796] [SC-154279][ss] RocksDB sürüm yükünde doğru uzak dosyaların (metadata.zipbahsedilen) kullanıldığından emin olun
• [SPARK-46888] [SC-154636][core] Kullanımdan kaldırma devre dışıysa istekleri reddetmeye yönelik Master düzeltmesi /workers/kill/
• [SPARK-46818] [SC-154422][sql] Katlanabilir olmayan girişlerle Aralık için hata iletilerini iyileştirme
• [SPARK-46898] [SC-154649][connect] Planner'da protobuf işlevi dönüştürme işlemini basitleştirme
• [SPARK-46828] [SC-154413][sql] Spark SQL Shell için geçersiz uzak mod onayını kaldırma
• [SPARK-46733] [SC-154274][core] BlockManager'ı yalnızca kesme iş parçacığına bağlı olarak çıkış işlemiyle basitleştirin.
• [SPARK-46777] [SC-154016][ss] Katalizör yapısını toplu iş sürümüyle daha eşit olacak şekilde yeniden düzenleme StreamingDataSourceV2Relation
• [SPARK-46515] [SC-151716] MONTHNAME işlevi ekleme
• [SPARK-46823] [SC-154276][connect][PYTHON] LocalDataToArrowConversion null atanabilirliği denetlemelidir
• [SPARK-46787] [SC-154404][connect] bloomFilter fonksiyon geçersiz giriş için fırlatmalı AnalysisException
• [SPARK-46779] [SC-154045][sql] InMemoryRelation aynı önbelleğe alınmış planın örnekleri, sembolik olarak eşdeğer olmalıdır
• [SPARK-45827] [SC-153973] Variant sütununda bölümlemeye izin verme
• [SPARK-46797] [SC-154085][core] spark.deploy.spreadOutspark.deploy.spreadOutApps olarak yeniden adlandırın
• [SPARK-46094] [SC-153421] Yürütücü JVM Profil Oluşturmayı Destekleme
• [SPARK-46746] [SC-153557][sql][AVRO] Avro veri kaynağı dosyalarına codec uzantısı ekleme
• [SPARK-46698] [SC-153288][core] Zamanlayıcıyı ConsoleProgressBar için tek iş parçacıklı bir zamanlayıcı yürütücü ile değiştirin.
• [SPARK-46629] [SC-153835] STRUCT türü DDL'nin null olma durumu ve açıklamanın algılanmaması sorunu çözüldü.
• [SPARK-46750] [SC-153772][connect][PYTHON] DataFrame API'leri kodu temizleme
• [SPARK-46769] [SC-153979][sql] Zaman damgasıyla ilgili şema çıkarımı iyileştirme
• [SPARK-46765] [SC-153904][python][CONNECT] Veri shuffle türünü belirtin seed
• [SPARK-46579] [SC-151481][sql] Hatalarda ve günlüklerde JDBC URL'sini yeniden işleme
• [SPARK-46686] [SC-153875][python][CONNECT] SparkSession tabanlı Python UDF profil oluşturucusunun temel desteği
• [SPARK-46748] “[SC-153800][core] Scri’yi geri al” *slav**.sh...
• [SPARK-46707] [SC-153833][sql] Koşul gönderimini geliştirmek için ifadelere atılabilir alan eklendi
• [SPARK-46519] [SC-151278][sql] Dosyadan error-classes.json kullanılmayan hata sınıflarını temizleme
• [SPARK-46677] [SC-153426][sql][CONNECT] dataframe["*"] çözümünü düzelt
• [SPARK-46317] [SC-150184][python][CONNECT] SparkSession'da küçük davranış eşleştirmeyi tam test kapsamıyla eşleştirme
• [SPARK-46748] [SC-153800][core] Betikleri kaldırma *slav**.sh
• [SPARK-46663] [SC-153490][python] Yineleyicilerle çalışılan pandas UDF'leri için bellek profil oluşturucusu devre dışı bırakıldı
• [SPARK-46410] [SC-150776][sql] JdbcUtils.classifyException'a hata sınıfları/alt sınıfları atama
• [SPARK-46277] [SC-150126][python] Başlangıç URL'lerini ayarlanan yapılandırmayla doğrulama
• [SPARK-46612] [SC-153536][sql] jdbc sürücüsünden alınan dizi türü dizesini dönüştürme.
• [SPARK-46254] [SC-149788][python] Eski Python 3.8/3.7 sürüm denetimini kaldırma
• [SPARK-46490] [SC-151335][sql] Alt sınıflarda SparkThrowable hata sınıfları gerektir
• [SPARK-46383] [SC-153274][sc-147443][WARMFIX] TaskInfo.accumulables() Ömrünü Azaltarak Sürücü Bellek Kullanımını Azaltma
• [SPARK-46541] [SC-153109][sql][CONNECT] Kendi kendine birleştirmedeki belirsiz sütun referansını düzeltme
• [SPARK-46381] [SC-150495][sql] alt sınıflarını AnalysisException hata sınıflarına geçirme
• [SPARK-46351] [SC-150335][sql] içinde hata sınıfı gerektir AnalysisException
• [SPARK-46220] [SC-149689][sql] içinde karakter kümelerini kısıtlama decode()
• [SPARK-46369] [SC-150340][core] içindeki sürücülerden kill bağlantıyı kaldırma RELAUNCHINGMasterPage
• [SPARK-46052] [SC-153284][core] TaskScheduler.killAllTaskAttempts işlevini kaldırma
• [SPARK-46536] [SC-153164][sql] Takvim aralık türünü destekleyin
• [SPARK-46675] [SC-153209][sql] ParquetReadSupport'ta kullanılmayan inferTimestampNTZ'yi kaldırma
• [SPARK-46717] [SC-153423][core] Çıkış operasyonunun yalnızca kesme iş parçacığına bağlı olmasıyla ReloadingX509TrustManager basitleştirilmesi.
• [SPARK-46722] [SC-153438][connect] Spark Connect'te StreamingQueryListener için geriye dönük uyumluluk denetimiyle ilgili bir test ekleme (Scala/PySpark)
• [SPARK-46187] [SC-149580][sql] Kod üretim ve kod üretim olmayan uygulamayı hizala StringDecode
• [SPARK-46258] [SC-149799][core] Ekle RocksDBPersistenceEngine
• [SPARK-46216] [SC-149676][core] Sıkıştırmaları destekleyecek şekilde geliştirme FileSystemPersistenceEngine
• [SPARK-46189] [SC-149567][ps][SQL] Çeşitli Pandas toplama fonksiyonlarında aynı türler arasında karşılaştırma ve aritmetik işlemler gerçekleştirerek yorumlanan mod hatalarından kaçınmak için
• [SPARK-46184] [SC-149563][core][SQL][connect][MLLIB] Option.isDefined değerini Option.isEmpty ile değiştirerek yığın derinliğini azaltın
• [SPARK-46700] [SC-153329][core] Karışık disk taşma baytları ölçümünde son taşmayı sayma
• [SPARK-45642] [SC-150286][core][SQL] Düzeltme FileSystem.isFile & FileSystem.isDirectory is deprecated
• [SPARK-46640] [SC-153272][sql] RemoveRedundantAlias'ı alt sorgu özniteliklerini dışlayarak düzeltme
• [SPARK-46681] [SC-153287][core] ExecutorFailureTracker#maxNumExecutorFailures yeniden düzenleyerek defaultMaxNumExecutorFailures yapılandırıldığında MAX_EXECUTOR_FAILURES hesaplamaktan kaçınmak
• [SPARK-46695] [SC-153289][sql][HIVE] Hive.execution.engine'i her zaman mr olarak ayarlama
• [SPARK-46325] [SC-150228][connect] WrappedCloseableIterator içinde ResponseValidator#wrapIterator oluşturulurken gereksiz geçersiz kılma işlevlerini kaldırma
• [SPARK-46232] [SC-149699][python] Kalan tüm ValueError'ı PySpark hata çerçevesine geçirin.
• [SPARK-46547] [SC-153174][ss] Bakım iş parçacığı ile akış toplama işleci arasında kilitlenmeyi önlemek için bakım görevinde ölümcül olmayan özel durumu yutma
• [SPARK-46169] [SC-149373][ps] API'den eksik parametreler için uygun JIRA numaralarını atayın DataFrame .
• [SPARK-45857] [SC-148096][sql] alt sınıflarında hata sınıflarını zorunlu kılma AnalysisException

Databricks ODBC/JDBC sürücü desteği

Databricks, son 2 yılda yayımlanan ODBC/JDBC sürücülerini destekler. Lütfen son yayınlanan sürücüleri indirin ve yükseltin (ODBC'yi indirin, JDBC'yi indirin).

Bakım güncelleştirmeleri

Bkz . Databricks Runtime 15.1 bakım güncelleştirmeleri.

Sistem ortamı

• İşletim Sistemi: Ubuntu 22.04.4 LTS
• Java: Zulu 8.74.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.11.0
• R: 4.3.2
• Delta Gölü: 3.1.0

Yüklü Python kitaplıkları

Yüklü R kitaplıkları

R kitaplıkları, 2023-02-10 tarihinde Posit Paket Yöneticisi CRAN anlık görüntüsünden yüklenmiştir.

Yüklü Java ve Scala kitaplıkları (Scala 2.12 küme sürümü)