Databricks Runtime 14.0 (EoS)

Aşağıdaki sürüm notları, Apache Spark 3.5.0 tarafından desteklenen Databricks Runtime 14.0 hakkında bilgi sağlar.

Databricks bu sürümü Eylül 2023'te yayımladı.

Yeni özellikler ve geliştirmeler

• Satır izleme GA'dır
• Güncelleştirmeler için tahmine dayalı veri girişi/çıkışı genel kullanımda
• Silme vektörleri GA'dır
• Spark 3.5.0 ga'dır
• Python için kullanıcı tanımlı tablo fonksiyonlarının herkese açık önizlemesi
• Satır düzeyi eşzamanlılık için genel önizleme
• Varsayılan geçerli çalışma dizini değişti
• Sparklyr ile ilgili bilinen sorun
• Paylaşılan küme mimarisinde Spark Connect'e giriş
• Kullanılabilir Spark sürümleri listesi API güncellemesi

Satır izleme GA'dır

Delta Lake için satır izleme artık genel olarak kullanılabilir. Bkz. Azure Databricks’te satır izleme.

Güncelleştirmeler için tahmine dayalı G/Ç GA'dır

Güncellemeler için öngörüye dayalı G/Ç artık genel kullanıma sunuldu. Bkz. Tahmine dayalı G/Ç nedir?.

Silme vektörleri GA'dır

Silme vektörleri genel kullanıma sunuldu. Bkz . Databricks'te silme vektörleri.

Spark 3.5.0 Genel Erişilebilirlikte

Apache Spark 3.5.0 genel kullanıma sunuldu. Bkz . Spark Sürüm 3.5.0.

Python için kullanıcı tanımlı tablo işlevleri için genel önizleme

Kullanıcı tanımlı tablo işlevleri (UDF'ler), skaler değerler yerine tablo döndüren işlevleri kaydetmenize olanak tanır. Bkz. Python kullanıcı tanımlı tablo işlevleri (UDF).

Satır düzeyi eşzamanlılık için genel önizleme

Satır düzeyi eşzamanlılık, satır düzeyindeki değişiklikleri algılayarak ve aynı veri dosyasındaki farklı satırları güncelleştiren veya silerek eşzamanlı yazma işlemlerinde rakip değişiklikleri otomatik olarak çözerek eşzamanlı yazma işlemleri arasındaki çakışmaları azaltır. Bkz. Satır düzeyi eşzamanlılık.

Varsayılan geçerli çalışma dizini değişti

Yerel olarak yürütülen kod için varsayılan geçerli çalışma dizini (CWD), artık çalıştırılmakta olan not defterini veya betiği içeren dizindir. Buna spark kullanmayan %sh ve Python veya R kodu gibi kodlar dahildir. Bkz. Varsayılan geçerli çalışma dizini nedir?.

Sparklyr ile ilgili bilinen sorun

Paketin sparklyr yüklü sürümü (sürüm 1.8.1), Databricks Runtime 14.0 ile uyumlu değildir. sparklyr'yi kullanmak için 1.8.3 veya üzeri bir sürümü yükleyin.

Paylaşılan küme mimarisinde Spark Connect'e giriş

Databricks Runtime 14.0 ve üzeri sürümlerde paylaşılan kümeler artık varsayılan olarak Python REPL'den Spark Sürücüsü ile Spark Connect kullanıyor. İç Spark API'lerine artık kullanıcı kodundan erişilemez.

Spark Connect artık eski REPL tümleştirmesi yerine REPL'den Spark Sürücüsü ile etkileşim kuruyor.

Kullanılabilir Spark sürümleri API güncelleştirmesini listeleme

Photon'u ayarlayarak runtime_engine = PHOTON etkinleştirin ve graviton örnek türünü seçerek aarch64 etkinleştirin. Azure Databricks doğru Databricks Runtime sürümünü ayarlar. Daha önce Spark sürüm API'sinin her sürüm için uygulamaya özgü çalışma zamanları döndürmesi gerekirdi. GET REST API Başvurusu'nda /api/2.0/clusters/spark-versions bakın.

Kritik değişiklikler

Databricks Runtime 14.0 ve üzeri sürümlerin standart erişim moduna sahip kümeler (eski adıyla paylaşılan erişim modu) istemci-sunucu iletişimi için Spark Connect kullanır. Bu, aşağıdaki değişiklikleri içerir.

Standart erişim modu sınırlamaları hakkında daha fazla bilgi için bkz. Standart işlem gereksinimleri ve sınırlamaları.

Standart erişim modu (eski adıyla paylaşılan erişim modu) olan kümelerde Python

• sqlContext kullanılamaz. Azure Databricks, spark örneği için SparkSession değişkeninin kullanılmasını önerir.
• Spark Bağlamı (sc) artık Not Defterlerinde veya standart erişim modu olan bir kümede Databricks Connect kullanılırken kullanılamaz. Aşağıdaki sc işlevler artık kullanılamaz:
  • emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFile, wholeTextFiles, binaryFiles, binaryRecords, sequenceFile, newAPIHadoopFile, newAPIHadoopRDD, hadoopFile, hadoopRDD, union, runJob, setSystemProperty, uiWebUrl, stop, setJobGroup, setLocalProperty, getConf
• Veri Kümesi Bilgileri özelliği artık desteklenmiyor.
• Apache Spark sorgulanırken JVM'ye artık bağımlılık yoktur ve bunun sonucunda, JVM ile ilgili , _jsc_jconf_jvm, , _jsparkSession, _jreader, , _jc, , _jseq, _jdfve _jmap gibi _jcolsiç API'ler artık desteklenmez.
• Yapılandırma değerlerine erişim sırasında yalnızca dinamik çalışma zamanı yapılandırma değerlerine spark.conf kullanılarak erişilebilir.
• Lakeflow çözümleme komutlarında Spark Bildirimli İşlem Hatları henüz paylaşılan kümelerde desteklenmemektedir.

Standart erişim modu (eski adıyla paylaşılan erişim modu) olan kümelerde Delta

• Python'da Apache Spark sorgulanırken artık JVM'ye bağımlılık yoktur. JVM ile ilgili , DeltaTable._jdt, DeltaTableBuilder._jbuilderve DeltaMergeBuilder._jbuilder gibi DeltaOptimizeBuilder._jbuilderiç API'ler artık desteklenmiyor.

Standart erişim modu (eski adıyla paylaşılan erişim modu) olan kümelerde SQL

• DBCACHE ve DBUNCACHE komutları artık desteklenmiyor.
• gibi cache table db as show databases nadir kullanım örnekleri artık desteklenmiyor.

Kitaplık yükseltmeleri

• Yükseltilmiş Python kitaplıkları:
  • asttokens 2.2.1 sürümünden 2.0.5 sürümüne
  • attrs sürümü 21.4.0'dan 22.1.0'a güncellendi
  • botocore sürümü 1.27.28'den 1.27.96'ya yükseltildi
  • certifi 2022.09.14 ile 2022.12.07 arasında
  • 37.0.1 ile 39.0.1 arasında şifreleme
  • debugpy 1.6.0'dan 1.6.7'ye güncellendi
  • "docstring-to-markdown'u 0,12 sürümünden 0,11 sürümüne düşürüldü"
  • 1.2.0'dan 0.8.3'e yürütme
  • 1.0.3'ten 1.1.1'e kadar olan sürümlerdeki özelliklerin genel görünümü
  • 1.56.4 ile 1.60.0 arası googleapis-common-protos
  • grpcio 1.48.1'den 1.48.2'ye
  • idna 3.3'ten 3.4'e
  • ipykernel 6.17.1 sürümünden 6.25.0 sürümüne
  • 8.10.0 ile 8.14.0 arasında ipython
  • Jinja2 2.11.3 ile 3.1.2
  • 4.16.0 ile 4.17.3 arasındaki jsonschema
  • jupyter_core sürümü 4.11.2'den 5.2.0'ye
  • kiwisolver 1.4.2 ile 1.4.4
  • MarkupSafe 2.0.1 ile 2.1.1 arasındaki
  • matplotlib 3.5.2'den 3.7.0'a
  • nbconvert 6.4.4'ten 6.5.4'e
  • 5.5.0 ile 5.7.0 arasında nbformat
  • nest-asyncio 1.5.5 ile 1.5.6 arasında
  • 6.4.12 ile 6.5.2 arasında not defteri
  • numpy 1.21.5'ten 1.23.5'e
  • paketleme 21.3'ten 22.0'ye kadar
  • pandas sürümü 1.4.4'ten 1.5.3'e güncellendi
  • pathspec 0.9.0'dan 0.10.3'e
  • patsy 0.5.2'den 0.5.3'e
  • Yastık 9.2.0 ile 9.4.0
  • pip 22.2.2'den 22.3.1'e
  • 3.19.4 ile 4.24.0 arasındaki protobuf
  • 1.2.2 ile 1.2.5 arasında pytoolconfig
  • pytz 2022.1'den 2022.7'ye
  • s3transfer 0.6.0'dan 0.6.1'e
  • seaborn 0.11.2 ile 0.12.2
  • 63.4.1'den 65.6.3'e kadar kurulum araçları
  • soupsieve sürümünden 2.3.1 sürümüne 2.3.2.post1
  • 0.6.2 ile 0.2.0 arasında yığın verileri
  • statsmodels 0.13.2'den 0.13.5'e
  • terminado 0.13.1 sürümünden 0.17.1 sürümüne
  • traitlets'in 5.1.1 sürümünden 5.7.1 sürümüne güncellenmesi
  • typing_extensions 4.3.0'dan 4.4.0'a
  • urllib3 1.26.11'den 1.26.14'e
  • virtualenv 20.16.3 ile 20.16.7
  • tekerlek 0.37.1 ile 0.38.4
• Güncellenmiş R kitaplıkları:
  • 10.0.1 ile 12.0.1'den 12.0.1'e kadar olan ok
  • 4.2.2 ile 4.3.1 taban
  • 1.2.3 ile 1.2.4 blobu
  • broom 1.0.3 sürümünden 1.0.5 sürümüne
  • bslib 0.4.2 versiyonundan 0.5.0 versiyonuna
  • cachem 1.0.6'dan 1.0.8'e
  • caret 6.0-93'ten 6.0-94'e
  • chron 2.3-59'dan 2.3-61'e
  • 7.3-21 ile 7.3-22 arası sınıf
  • cli 3.6.0'dan 3.6.1'e
  • 0.6.1 ile 0.7.0 saatleri
  • commonmark sürümü 1.8.1'den 1.9.0'a
  • derleyici 4.2.2'den 4.3.1'e
  • cpp11 0.4.3 ile 0.4.4
  • curl 5.0.0'dan 5.0.1'e
  • data.table 1.14.6'dan 1.14.8'e
  • 4.2.2 ile 4.3.1 arasında veri kümeleri
  • dbplyr 2.3.0'dan 2.3.3'e
  • özet 0.6.31'den 0.6.33'e
  • downlit 0.4.2 sürümünden 0.4.3 sürümüne güncellendi
  • 1.1.0 ile 1.1.2 aralığındaki dplyr
  • dtplyr 1.2.2'den 1.3.1'e
  • 0,20'den 0,21'e kadar değerlendirin.
  • 1.1.0 ile 1.1.1 arasında hızlı harita
  • fontawesome 0.5.0 sürümünden 0.5.1 sürümüne
  • fs 1.6.1'den 1.6.2'ye
  • gelecek sürüm güncellemesi 1.31.0'dan 1.33.0'ya
  • future.apply 1.10.0'dan 1.11.0'ya
  • 1.3.0'dan 1.5.1'e kadar gargara
  • ggplot2 3.4.0 versiyonundan 3.4.2 versiyonuna
  • gh 1.3.1 sürümünden 1.4.0 sürümüne
  • 4.1-6 ile 4.1-7 arası glmnet
  • googledrive 2.0.0'dan 2.1.1'e
  • googlesheets4 sürümü 1.0.1'den 1.1.1'e güncelleme
  • 4.2.2 ile 4.3.1'e kadar olan grafikler
  • grDevices 4.2.2 sürümünden 4.3.1 sürümüne
  • 4.2.2'den 4.3.1'e kılavuz
  • 0.3.1'den 0.3.3'e gtable
  • "hardhat sürümü 1.2.0'dan 1.3.0'a"
  • haven 2.5.1'den 2.5.3'e
  • hms 1.1.2 sürümünden 1.1.3 sürümüne
  • htmltools 0.5.4 sürümünden 0.5.5 sürümüne
  • htmlwidgets 1.6.1'den 1.6.2'ye
  • httpuv 1.6.8'den 1.6.11'e
  • httr 1.4.4'ten 1.4.6'ya
  • 0,9-13'ten 0,9-14'e ipred
  • 1.8.4 ile 1.8.7 arasındaki jsonlite
  • KernSmooth 2.23-20 ile 2.23-21 arasında
  • knitr 1.42 sürümünden 1.43 sürümüne
  • daha sonra 1.3.0'dan 1.3.1'e
  • 0,20-45 ile 0,21-8 arası kafes
  • lava 1.7.1'den 1.7.2.1'e
  • 1.9.1 ile 1.9.2 lubridat
  • markdown 1,5'ten 1,7'ye
  • 7.3-58.2 ile 7.3-60 arasındaki kütle
  • 1,5-1 ile 1,5-4,1 arası matris
  • 4.2.2 ile 4.3.1 yöntemleri
  • mgcv 1.8-41 ile 1.8-42 arası
  • modelr 0.1.10'dan 0.1.11'e
  • nnet sürümü 7.3-18'den 7.3-19'a
  • openssl 2.0.5'ten 2.0.6'ya
  • 4.2.2'den 4.3.1'e paralel
  • 1.34.0'dan 1.36.0'a paralel olarak
  • sütun 1.8.1'den 1.9.0'a
  • pkgbuild versiyon 1.4.0'dan 1.4.2'ye
  • 1.3.2'den 1.3.2.1'e pkgload
  • pROC 1.18.0 ile 1.18.4
  • 3.8.0 ile 3.8.2 arasinda processx
  • prodlim from 2019.11.13 to 2023.03.31
  • profvis'in 0.3.7 sürümünden 0.3.8 sürümüne
  • ps 1.7.2'den 1.7.5'e
  • Rcpp 1.0.10 ile 1.0.11
  • readr 2.1.3'ten 2.1.4'e
  • readxl 1.4.2'den 1.4.3'e
  • 1.0.4 ila 1.0.6 yemek tarifleri
  • 1.0.6 ile 1.1.1 arası rlang
  • 2,20 ile 2,23 arasında rmarkdown
  • Rserve 1.8-12 sürümünden 1.8-11 sürümüne
  • 2.2.20 ile 2.3.1 arasında RSQLite
  • 0,14 ile 0,15.0 arasında rstudioapi
  • sass 0.4.5'ten 0.4.6'ya
  • parlak 1.7.4 ile 1.7.4.1
  • sparklyr 1.7.9 ile 1.8.1
  • SparkR 3.4.1 ile 3.5.0
  • splines 4.2.2'den 4.3.1'e
  • 4.2.2 ile 4.3.1 arasındaki istatistikler
  • stats4 4.2.2 sürümünden 4.3.1 sürümüne
  • 3,5-3'ten 3,5-5'e kadar hayatta kalma
  • sys 3.4.1'den 3.4.2'ye
  • tcltk 4.2.2 sürümünden 4.3.1 sürümüne
  • 3.1.6'dan 3.1.10'a kadar olan test
  • 3.1.8'den 3.2.1'e tibble
  • tidyverse 1.3.2 ile 2.0.0
  • tinytex 0,44'ten 0,45'e
  • 4.2.2 ile 4.3.1 için araçlar
  • tzdb 0.3.0'dan 0.4.0'a
  • usethis paketini 2.1.6'dan 2.2.2'ye
  • 4.2.2 ile 4.3.1 için yardımcı programlar
  • vctrs 0.5.2 sürümünden 0.6.3 sürümüne
  • viridisLite 0.4.1 ile 0.4.2
  • 1.6.1 ile 1.6.3 arasında vroom
  • waldo 0.4.0'dan 0.5.1'e
  • xfun 0,37'den 0,39'a
  • 1.3.3 ile 1.3.5 arasındaki xml2
  • zip 2.2.2'den 2.3.0'a
• Yükseltilmiş Java kitaplıkları:
  • com.fasterxml.jackson.core.jackson-annotations 2.14.2 sürümünden 2.15.2 sürümüne
  • com.fasterxml.jackson.core.jackson-core 2.14.2 ile 2.15.2 arası
  • com.fasterxml.jackson.core.jackson-databind 2.14.2 ile 2.15.2 arası
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor 2.14.2 ile 2.15.2 arasında
  • com.fasterxml.jackson.datatype.jackson-datatype-joda 2.14.2 ile 2.15.2 arası
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 2.13.4 ile 2.15.1 arası
  • com.fasterxml.jackson.module.jackson-module-paranamer, 2.14.2 sürümünden 2.15.2 sürümüne
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 sürümü 2.14.2'den 2.15.2'ye güncellendi.
  • com.github.luben.zstd-jni 1.5.2-5 ile 1.5.5-4 arası
  • com.google.code.gson.gson 2.8.9 ile 2.10.1 arasındaki
  • com.google.crypto.tink.tink 1.7.0'dan 1.9.0'a
  • commons-codec.commons-codec sürüm yükseltilmesi 1.15'ten 1.16.0'a
  • commons-io.commons-io 2.11.0 sürümünden 2.13.0 sürümüne
  • io.airlift.aircompressor 0.21'den 0.24'e
  • io.dropwizard.metrics.metrics-core 4.2.10'dan 4.2.19'a
  • 4.2.10 ile 4.2.19 arası io.dropwizard.metrics.metrics-graphite
  • io.dropwizard.metrics.metrics-healthchecks 4.2.10'dan 4.2.19'a
  • 4.2.10 ile 4.2.19 arası io.dropwizard.metrics.metrics-jetty9
  • 4.2.10 ile 4.2.19 arası io.dropwizard.metrics.metrics-jmx
  • 4.2.10 ile 4.2.19 arasındaki io.dropwizard.metrics.metrics-json
  • 4.2.10 ile 4.2.19 arası io.dropwizard.metrics.metrics-jvm
  • 4.2.10 ile 4.2.19 arası io.dropwizard.metrics.metrics-servlets
  • io.netty.netty-all 4.1.87.Final sürümünden 4.1.93.Final sürümüne
  • io.netty.netty-buffer 4.1.87.Final'den 4.1.93.Final'e
  • 4.1.87.Final'dan 4.1.93.Final versiyonuna güncellendi io.netty.netty-codec
  • io.netty.netty-codec-http 4.1.87.Final'den 4.1.93.Final'e
  • io.netty.netty-codec-http2 4.1.87.Final'dan 4.1.93.Final'a
  • io.netty.netty-codec-socks 4.1.87.Final'den 4.1.93.Final'e
  • io.netty.netty-common 4.1.87.Final sürümünden 4.1.93.Final sürümüne
  • io.netty.netty-handler versiyonu 4.1.87.Final ile 4.1.93.Final arası değiştirildi.
  • io.netty.netty-handler-proxy 4.1.87.Final ile 4.1.93.Final olarak
  • io.netty.netty-resolver 4.1.87.Final'den 4.1.93.Final'a
  • io.netty.netty-transport 4.1.87.Final sürümünden 4.1.93.Final sürümüne
  • io.netty.netty-transport-classes-epoll 4.1.87.Final sürümünden 4.1.93.Final sürümüne
  • io.netty.netty-transport-classes-kqueue 4.1.87.Final'dan 4.1.93.Final'a
  • io.netty.netty-transport-native-epoll 4.1.87.Final-linux-x86_64 sürümünden 4.1.93.Final-linux-x86_64 sürümüne
  • io.netty.netty-transport-native-kqueue 4.1.87.Final-osx-x86_64 sürümünden 4.1.93.Final-osx-x86_64 sürümüne
  • io.netty.netty-transport-native-unix-common 4.1.87.Final sürümünden 4.1.93.Final sürümüne
  • org.apache.arrow.arrow-format 11.0.0 sürümünden 12.0.1 sürümüne
  • org.apache.arrow.arrow-memory-core 11.0.0'den 12.0.1'e
  • org.apache.arrow.arrow-memory-netty 11.0.0 sürümünden 12.0.1 sürümüne
  • org.apache.arrow.arrow-vector 11.0.0 ile 12.0.1 arası
  • org.apache.avro.avro 1.11.1'den 1.11.2'ye
  • org.apache.avro.avro-ipc 1.11.1 ile 1.11.2 arası
  • org.apache.avro.avro-mapred 1.11.1 sürümünden 1.11.2 sürümüne
  • org.apache.commons.commons-compress sürümü 1.21'den 1.23.0'a yükseltildi.
  • org.apache.hadoop.hadoop-client-runtime 3.3.4 ile 3.3.6 arası
  • 2.19.0 ile 2.20.0 arası org.apache.logging.log4j.log4j-1.2-api
  • 2.19.0 ile 2.20.0 arası org.apache.logging.log4j.log4j-api
  • org.apache.logging.log4j.log4j-core 2.19.0 ile 2.20.0 arası
  • org.apache.logging.log4j.log4j-slf4j2-impl 2.19.0 ile 2.20.0 arası
  • org.apache.orc.orc-core 1.8.4-shaded-protobuf'tan 1.9.0-shaded-protobuf'a
  • org.apache.orc.orc-mapreduce sürümü 1.8.4-shaded-protobuf'tan 1.9.0-shaded-protobuf'a
  • org.apache.orc.orc-shims 1.8.4 ile 1.9.0 arası
  • org.apache.xbean.xbean-asm9-shaded 4.22'den 4.23'e
  • org.checkerframework.checker-qual 3.19.0'dan 3.31.0'a
  • org.glassfish.jersey.containers.jersey-container-servlet 2.36 sürümünden 2.40 sürümüne
  • org.glassfish.jersey.containers.jersey-container-servlet-core 2.36'dan 2.40'a
  • org.glassfish.jersey.core.jersey-client 2.36 ile 2.40 arası
  • org.glassfish.jersey.core.jersey-common 2.36'dan 2.40'a kadar
  • org.glassfish.jersey.core.jersey-server 2.36 ile 2.40 arası
  • org.glassfish.jersey.inject.jersey-hk2 2.36 ile 2.40 arası
  • org.javassist.javassist 3.25.0-GA sürümünden 3.29.2-GA sürümüne
  • org.mariadb.jdbc.mariadb-java-client 2.7.4 sürümünden 2.7.9 sürümüne
  • org.postgresql.postgresql 42.3.8'den 42.6.0'a
  • org.roaringbitmap.RoaringBitmap 0.9.39 ile 0.9.45 arasında
  • org.roaringbitmap.shims 0.9.39'dan 0.9.45'e
  • org.rocksdb.rocksdbjni 7.8.3 ile 8.3.2 arasında
  • org.scala-lang.modules.scala-collection-compat_2.12 2.4.3'ten 2.9.0'a
  • org.slf4j.jcl-over-slf4j 2.0.6'dan 2.0.7'ye
  • org.slf4j.jul-to-slf4j 2.0.6'dan 2.0.7'ye
  • org.slf4j.slf4j-api 2.0.6 ile 2.0.7 arası
  • org.xerial.snappy.snappy-java 1.1.10.1 ile 1.1.10.3 arası
  • org.yaml.snakeyaml 1.33'ten 2.0'a

Apache Spark

Databricks Runtime 14.0. Bu sürüm, Databricks Runtime 13.3 LTS'deki tüm Spark düzeltmeleri ve iyileştirmelerinin yanı sıra Spark'ta yapılan aşağıdaki ek hata düzeltmelerini ve iyileştirmeleri içerir:

• [SPARK-45109] [DBRRM-462][sc-142247][SQL][connect] Connect'teki aes_decrypt ve ln işlevlerini düzeltme
• [SPARK-44980] [DBRRM-462][sc-141024][PYTHON][connect] CreateDataFrame'de çalışmak için devralınan namedtuples düzeltmesi
• [SPARK-44795] [DBRRM-462][sc-139720][CONNECT] CodeGenerator Önbelleği sınıf yükleyiciye özgü olmalıdır
• [SPARK-44861] [DBRRM-498][sc-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
• [SPARK-44794] [DBRRM-462][sc-139767][CONNECT] Akış Sorgularının Connect'in yapıt yönetimiyle çalışmasını sağlama
• [SPARK-44791] [DBRRM-462][sc-139623][CONNECT] ArrowDeserializer'ın REPL tarafından oluşturulan sınıflarla çalışmasını sağlama
• [SPARK-44876] [DBRRM-480][sc-140431][PYTHON] Spark Connect'te Ok için iyileştirilmiş Python UDF'yi düzeltme
• [SPARK-44877] [DBRRM-482][sc-140437][CONNECT][python] Spark Connect için python protobuf işlevlerini destekleme
• [SPARK-44882] [DBRRM-463][sc-140430][PYTHON][connect] PySpark'tan uuid/random/chr işlevini kaldırma
• [SPARK-44740] [DBRRM-462][sc-140320][CONNECT][follow] Yapıtlar için meta veri değerlerini düzeltme
• [SPARK-44822] [DBRRM-464][python][SQL] Python UDTF'leri varsayılan olarak belirlenemez yapmak.
• [SPARK-44836] [DBRRM-468][sc-140228][PYTHON] Arrow Python UDTF Yeniden Düzenlemesi
• [SPARK-44738] [DBRRM-462][sc-139347][PYTHON][connect] Çağrılara eksik istemci meta verilerini ekleme
• [SPARK-44722] [DBRRM-462][sc-139306][CONNECT] ExecutePlanResponseReattachableIterator._call_iter: AttributeError: 'NoneType' nesnesinin özniteliği 'message' yok
• tüm yürütmeleri izlemek için [SPARK-44625] [DBRRM-396][sc-139535][CONNECT] SparkConnectExecutionManager
• [SPARK-44663] [SC-139020][dbrrm-420][PYTHON] Python UDF'ler için ok iyileştirmeyi varsayılan olarak devre dışı bırakma
• [SPARK-44709] [DBRRM-396][sc-139250][CONNECT] ExecuteGrpcResponseSender'ı yeni iş parçacığında yeniden takılabilir yürütmede çalıştırarak akış denetimini düzeltin
• [SPARK-44656] [DBRRM-396][sc-138924][CONNECT] Tüm yineleyicileri KapatılabilirYineleyiciler yapın
• [SPARK-44671] [DBRRM-396][sc-138929][PYTHON][connect] İlk isteğin Python istemcideki sunucuya ulaşmaması durumunda ExecutePlan'ı yeniden deneyin
• [SPARK-44624] [DBRRM-396][sc-138919][CONNECT] İlk isteğin sunucuya ulaşmaması durumunda ExecutePlan'ı yeniden deneyin
• [SPARK-44574] [DBRRM-396][sc-138288][SQL][connect] sq/api'ye taşınan hatalar da AnalysisException kullanmalıdır
• [SPARK-44613] [DBRRM-396][sc-138473][CONNECT] Kodlayıcılar nesnesi ekleme
• [SPARK-44626] [DBRRM-396][sc-138828][SS][connect] Spark Connect için istemci oturumu zaman aşımına uğradıktan sonra akış sorgusunun sonlandırılmasıyla ilgili takip
• [SPARK-44642] [DBRRM-396][sc-138882][CONNECT] Sunucudan hata aldıktan sonra ExecutePlanResponseReattachableIterator içinde ReleaseExecute gerçekleşir.
• [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] Connect İstemci Katalizör Bağımlılığını Kaldırma
• [SPARK-44664] [DBRRM-396][python][CONNECT] Python istemcisinde yineleyici kapatıldığında yürütmeyi serbest bırakın
• [SPARK-44631] [DBRRM-396][sc-138823][CONNECT][core][14.0.0] Yalıtılmış oturum önbelleği çıkarıldığında oturum tabanlı dizini kaldırma
• [SPARK-42941] [DBRRM-396][sc-138389][SS][connect] Python StreamingQueryListener
• [SPARK-44636] [DBRRM-396][sc-138570][CONNECT] Sarkan yineleyici bırakılmamalı
• [SPARK-44424] [DBRRM-396][connect][PYTHON][14.0.0] Spark Connect'te mevcut yürütmeye yeniden bağlanmak için Python istemcisi
• [SPARK-44637] [SC-138571] ExecuteResponseObserver'a erişimi eşitleme
• [SPARK-44538] [SC-138178][connect][SQL] Row.jsonValue ve arkadaşlarını yeniden devreye ekleme
• [SPARK-44421] [SC-138434][spark-44423][CONNECT] Spark Connect'te yeniden bağlanabilir yürütme
• [SPARK-44418] [SC-136807][python][CONNECT] Protobuf'u 3.19.5'ten 3.20.3'e yükseltme
• [SPARK-44587] [SC-138315][sql][CONNECT] Protobuf marshaller özyineleme sınırını artırma
• [SPARK-44591] [SC-138292][connect][SQL] SparkListenerSQLExecutionStart'a jobTags ekleme
• [SPARK-44610] [SC-138368][sql] DeduplicateRelations, yeni bir örnek oluştururken Alias meta verilerini korumalıdır
• [SPARK-44542] [SC-138323][core] SparkExitCode sınıfını özel durum işleyicisinde hevesle yükleme
• [SPARK-44264] [SC-138143][python]Deepspeed için E2E Testi
• [SPARK-43997] [SC-138347][connect] Java UDF'ler için destek ekleme
• [SPARK-44507] [SQL][connect][14.x][14.0] AnalysisException'ı sql/api'ye taşıma
• [SPARK-44453] [SC-137013][python] assertDataFrameEqual içinde hataları görüntülemek için difflib kullanma
• [SPARK-44394] [SC-138291][connect][WEBUI][14.0] Spark Connect için Spark kullanıcı arabirimi sayfası ekleme
• [SPARK-44611] [SC-138415][connect] Scala-xml'i dışlama
• [SPARK-44531] [SC-138044][connect][SQL][14.x][14.0] Kodlayıcı çıkarımı sql/api'ye taşıma
• [SPARK-43744] [SC-138289][connect][14.x][14.0] Sınıf yükleme sorununa neden olan problem düzeltildi.
• [SPARK-44590] [SC-138296][sql][CONNECT] SqlCommandResult için ok toplu iş kaydı sınırını kaldırma
• [SPARK-43968] [SC-138115][python] Yanlış sayıda çıkışa sahip Python UDF'ler için hata iletilerini geliştirme
• [SPARK-44432] [SC-138293][ss][CONNECT] Spark Connect'te oturum zaman aşımına uğradıktan sonra akış sorgularını sonlandırma
• [SPARK-44584] [SC-138295][connect] Scala İstemcisinde AddArtifactsRequest ve ArtifactStatusesRequest için client_type bilgilerini ayarlama
• [SPARK-44552] [14.0][sc-138176][SQL] private object ParseStateIntervalUtils tanımını kaldırma
• [SPARK-43660] [SC-136183][connect][PS] Spark Connect ile resample etkinleştirme
• [SPARK-44287] [SC-136223][sql] RowToColumnarExec & ColumnarToRowExec SQL işleçlerinde PartitionEvaluator API'lerini kullanın.
• [SPARK-39634] [SC-137566][sql] Satır dizini oluşturma ile birlikte dosya bölmeye izin ver
• [SPARK-44533] [SC-138058][python] Python UDTF'nin analizinde biriktirici, yayın ve Spark dosyaları için destek ekleme
• [SPARK-44479] [SC-138146][python] ArrowStreamPandasUDFSerializer'ı sütun içermeyen pandas DataFrame kabul etmek için düzeltme
• [SPARK-44425] [SC-138177][connect] Kullanıcı tarafından sağlanan sessionId değerinin bir UUID olduğunu doğrulayın
• [SPARK-44535] [SC-138038][connect][SQL] Gerekli Akış API'sini sql/api'ye taşıma
• [SPARK-44264] [SC-136523][ml][PYTHON] Deepspeed Dağıtık Öğrenim Sınıfı DeepspeedTorchDistributor Yaz
• [SPARK-42098] [SC-138164][sql] ResolveInlineTables'ın RuntimeReplaceable ifadesiyle başa çıkamama sorununu düzeltme
• [SPARK-44060] [SC-135693][sql] Derleme tarafı karışık karma dış birleştirme için kod üretimi
• [SPARK-44496] [SC-137682][sql][CONNECT] SCSC tarafından gereken Arabirimleri sql/api'ye taşıma
• [SPARK-44532] [SC-137893][connect][SQL] ArrowUtils'i sql/api'ye taşıma
• [SPARK-44413] [SC-137019][python] assertDataFrameEqual'te desteklenmeyen arg veri türü için hatayı netleştirme
• [SPARK-44530] [SC-138036][core][CONNECT] SparkBuildInfo'u common/util'e taşıma
• [SPARK-36612] [SC-133071][sql] Karışık karma birleştirmede sol dış birleştirme için sol taraflı yapı veya sağ dış birleştirme için sağ taraflı yapı desteği
• [SPARK-44519] [SC-137728][connect] SparkConnectServerUtils jar'lar için yanlış parametreler oluşturdu
• [SPARK-44449] [SC-137818][connect] Doğrudan Ok Seri Durumdan Çıkarma için Yukarı Yayın
• [SPARK-44131] [SC-136346][sql] Scala API için call_function ekleme ve call_udf kullanımdan kaldırma
• [SPARK-44541] [SQL] gereksiz işlev hasRangeExprAgainstEventTimeCol'nin UnsupportedOperationChecker'ten kaldırılması
• [SPARK-44523] [SC-137859][sql] Koşul FalseLiteral ise filtrenin maxRows/maxRowsPerPartition değeri 0 olur
• [SPARK-44540] [SC-137873][ui] JsonFormatter'ın kullanılmayan stil sayfasını ve javascript dosyalarını kaldırma
• [SPARK-44466] [SC-137856][sql] SPARK_DRIVER_PREFIX ve SPARK_EXECUTOR_PREFIX ile başlayan yapılandırmaları modifiedConfigs'den dışla
• [SPARK-44477] [SC-137508][sql] TYPE_CHECK_FAILURE_WITH_HINT hata alt sınıfı olarak ele alma
• [SPARK-44509] [SC-137855][python][CONNECT] Spark Connect Python istemcisinde iş iptal API'si kümesi ekleme
• [SPARK-44059] [SC-137023] Yerleşik işlevler için adlandırılmış bağımsız değişkenler için çözümleyici desteği ekleme
• [SPARK-38476] [SC-136448][core] org.apache.spark.storage içinde hata sınıfını kullanma
• [SPARK-44486] [SC-137817][python][CONNECT] self_destruct için PyArrow toPandas özelliğini uygulama
• [SPARK-44361] [SC-137200][sql] MapInBatchExec'te PartitionEvaluator API kullanma
• [SPARK-44510] [SC-137652][ui] DataTable'ları 1.13.5 olarak güncelleştirin ve ulaşılamayan bazı png dosyalarını kaldırın
• [SPARK-44503] [SC-137808][sql] TVF çağrıları bağımsız değişkenler PARTITION sonrasında ORDER BY BY ve TABLE yan tümceleri için SQL dil bilgisi ekleme
• [SPARK-38477] [SC-136319][core] org.apache.spark.shuffle içinde hata sınıfını kullanma
• [SPARK-44299] [SC-136088][sql] _LEGACY_ERROR_TEMP_227 hata sınıfına ad atama[4-6,8]
• [SPARK-44422] [SC-137567][connect] Spark Connect ince ayarlı kesme
• [SPARK-44380] [SC-137415][sql][PYTHON] Python'da analiz yapmak için Python UDTF desteği sağlandı
• [SPARK-43923] [SC-137020][connect] ListenerBus olaylarını gönder durin…
• [SPARK-44303] [SC-136108][sql] Hata sınıfına ad atama LEGACY_ERROR_TEMP[2320-2324]
• [SPARK-44294] [SC-135885][ui] HeapHistogram sütununun sorununu gider, beklenmedik bir şekilde tümünü seç kutusu ile görünüyor.
• [SPARK-44409] [SC-136975][sql] Dataset.to'da karakter/varchar'ı başkalarıyla tutarlı olacak şekilde işlemek
• [SPARK-44334] [SC-136576][sql][UI] Hiçbir işi olmayan bir DDL/DML için REST API yanıtındaki durumun TAMAMLANDI yerine BAŞARISIZ olması gerekir.
• [SPARK-42309] [SC-136703][sql] INCOMPATIBLE_DATA_TO_TABLE ve alt sınıfları tanıtın.
• [SPARK-44367] [SC-137418][sql][UI] Başarısız olan her sorgu için kullanıcı arabiriminde hata iletisini göster
• [SPARK-44474] [SC-137195][connect] SparkConnectServiceSuite'da "Gözlemleme yanıtlarını test et" seçeneğini yeniden etkinleştirin
• [SPARK-44320] [SC-136446][sql] LEGACY_ERROR_TEMPhata sınıfına ad atama [1067.1150.1220.1265.1277]
• [SPARK-44310] [SC-136055][connect] Connect Server başlangıç günlüğünde konak adı ve bağlantı noktası görüntülenmelidir
• [SPARK-44309] [SC-136193][ui] Yürütücüler Sekmesinde Yürütücülerin Ekleme/Kaldırma Zamanını Görüntüle
• [SPARK-42898] [SC-137556][sql] Dize/tarih atamalarının saat dilimi kimliğine gerek olmadığını işaretleyin
• [SPARK-44475] [SC-137422][sql][CONNECT] DataType ve Ayrıştırıcı'yı sql/api'ye yeniden dağıtma
• [SPARK-44484] [SC-137562][ss]StreamingQueryProgress json yöntemine batchDuration ekleme
• [SPARK-43966] [SC-137559][sql][PYTHON] Belirlenimci olmayan tablo değerli işlevleri destekleme
• [SPARK-44439] [SC-136973][connect][SS]Yalnızca istemciye kimlikleri göndermeye yönelik sabit listListeners
• [SPARK-44341] [SC-137054][sql][PYTHON] PartitionEvaluator API aracılığıyla bilgi işlem mantığını tanımlayın ve WindowExec ve WindowInPandasExec içinde kullanın
• [SPARK-43839] [SC-132680][sql] _LEGACY_ERROR_TEMP_1337UNSUPPORTED_FEATURE.TIME_TRAVEL dönüştürme
• [SPARK-44244] [SC-135703][sql] LEGACY_ERROR_TEMPhata sınıfına ad atama [2305-2309]
• [SPARK-44201] [SC-136778][connect][SS]Spark Connect için Scala'da Akış Dinleyicisi desteği eklendi
• [SPARK-44260] [SC-135618][sql] [1215-1245-2329] hata LEGACY_ERROR_TEMPsınıfına ad atama & _CharVarchar_Suite'de Özel Durumu denetlemek için checkError() kullanma
• [SPARK-42454] [SC-136913][sql] SPJ: BatchScanExec'te SPJ ile ilgili tüm parametreleri kapsülleme
• [SPARK-44292] [SC-135844][sql] Hata sınıfına ad atama LEGACY_ERROR_TEMP[2315-2319]
• [SPARK-44396] [SC-137221][connect] Doğrudan Ok Seri Durumdan Çıkarma
• [SPARK-44324] [SC-137172][sql][CONNECT] CaseInsensitiveMap'i sql/api'ye taşıma
• [SPARK-44395] [SC-136744][sql] StreamingTableSuite'a test ekleme
• [SPARK-44481] [SC-137401][connect][PYTHON] pyspark.sql.is_remote'i bir API yapma
• [SPARK-44278] [SC-137400][connect] İş parçacığı yerel özelliklerini temizleyen bir GRPC sunucu önleyici uygulamak
• [SPARK-44264] [SC-137211][ml][PYTHON] Deepspeed Kullanarak İşlevlerin Dağıtılmış Eğitimini Destekleme
• [SPARK-44430] [SC-136970][sql] Geçersiz olduğunda seçenek için AnalysisException sebep ekle
• [SPARK-44264] [SC-137167][ml][PYTHON] FunctionPickler'ı TorchDistributor'a Ekleme
• [SPARK-44216] [SC-137046] [PYTHON] assertSchemaEqual API'sini genel yapma
• [SPARK-44398] [SC-136720][connect] Scala foreachBatch API
• [SPARK-43203] [SC-134528][sql] Tüm Tablo Sil vakalarını DataSource V2'ye taşıma
• [SPARK-43755] [SC-137171][connect][MINOR] AdaptiveSparkPlanHelper.allChildren'da kopyalama kullanmak yerine MetricGenerator açın
• [SPARK-44264] [SC-137187][ml][PYTHON] TorchDistributor'ı Özel "run_training_on_file" İşlev İşaretçisine İzin Verecek Şekilde Yeniden Düzenleme
• [SPARK-43755] [SC-136838][connect] Yürütmeyi SparkExecutePlanStreamHandler'ın dışına ve farklı bir iş parçacığına taşıma
• [SPARK-44411] [SC-137198][sql] ArrowEvalPythonExec ve BatchEvalPythonExec içinde PartitionEvaluator API kullanma
• [SPARK-44375] [SC-137197][sql] DebugExec'te PartitionEvaluator API kullanma
• [SPARK-43967] [SC-137057][python] Boş dönüş değerlerine sahip normal Python UDF'leri destekleme
• [SPARK-43915] [SC-134766][sql] Hata sınıfına ad atama LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43965] [SC-136929][python][CONNECT] Spark Connect'te UDTF desteği Python
• [SPARK-44154] [SC-137050][sql] BitmapExpressionUtilsSuite'a daha fazla birim testi eklendi ve Bit Eşlem Toplama İfadelerinde küçük iyileştirmeler yapıldı
• [SPARK-44169] [SC-135497][sql] LEGACY_ERROR_TEMPhata sınıfına ad atama [2300-2304]
• [SPARK-44353] [SC-136578][connect][SQL] StructType.toAttributes Kaldır
• [SPARK-43964] [SC-136676][sql][PYTHON] Arrow ile optimize edilmiş Python UDTF'leri destekleme
• [SPARK-44321] [SC-136308][connect] ParseException'ı AnalysisException'dan ayır
• [SPARK-44348] [SAS-1910][sc-136644][CORE][connect][PYTHON] İlgili değişikliklerle test_artifact yeniden etkinleştirin
• [SPARK-44145] [SC-136698][sql] Yürütmeye hazır olduğunda geri çağırma
• [SPARK-43983] [SC-136404][python][ML][connect] Çapraz doğrulayıcı tahmin aracı testini etkinleştirme
• [SPARK-44399] [SC-136669][pyhton][CONNECT] SparkSession'ı Python UDF'de içeri aktarma yalnızca useArrow Yok olduğunda
• [SPARK-43631] [SC-135300][connect][PS] Series.interpolate'i Spark Connect ile Etkinleştir
• [SPARK-44374] [SC-136544][python][ML] Spark Connect için dağıtılmış ML için örnek kod ekleme
• [SPARK-44282] [SC-135948][connect] Spark Connect Scala İstemcisi'nde kullanılmak üzere DataType ayrıştırma hazırlama
• [SPARK-44052] [SC-134469][connect][PS] Spark Connect için doğru Column veya DataFrame sınıfını elde etmek üzere araç ekleyin.
• [SPARK-43983] [SC-136404][python][ML][connect] Çapraz doğrulayıcı tahmin aracı uygulama
• [SPARK-44290] [SC-136300][connect] Spark Connect'te oturum tabanlı dosyalar ve arşivler
• [SPARK-43710] [SC-134860][ps][CONNECT] Spark Connect için destek functions.date_part
• [SPARK-44036] [SC-134036][connect][PS] Temizleme & görevleri basitleştirmek için biletleri birleştirin.
• [SPARK-44150] [SC-135790][python][CONNECT] Arrow Python UDF'de eşleşmeyen dönüş tipi için açık Arrow dönüştürmesi
• [SPARK-43903] [SC-134754][python][CONNECT] Arrow Python UDF'de ArrayType veri türü için giriş desteğini geliştirme
• [SPARK-44250] [SC-135819][ml][PYTHON][connect] Sınıflandırma değerlendiricisi uygulama
• [SPARK-44255] [SC-135704][sql] StorageLevel'i ortak/yardımcı programlara yeniden dağıtma
• [SPARK-42169] [SC-135735] [SQL] to_csv işlevi için kod oluşturma uygulama (StructsToCsv)
• [SPARK-44249] [SC-135719][sql][PYTHON] PythonUDTFRunner'ı dönüş türünü ayrı olarak göndermek için yeniden düzenleme
• [SPARK-43353] [SC-132734][python] Kalan oturum hatalarını hata sınıfına geçirme
• [SPARK-44133] [SC-134795][python] MyPy'yi 0,920'den 0,982'ye yükseltme
• [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - JSON biçiminde Olay Serde
• [SPARK-43353] Revert "[SC-132734][es-729763][PYTHON] Kalan oturum hatalarını hata sınıfına geçirme"
• [SPARK-44100] [SC-134576][ml][CONNECT][python] Ad alanını pyspark.mlv2'den pyspark.ml.connect'e taşı
• [SPARK-44220] [SC-135484][sql] StringConcat'i sql/api'ye taşıma
• [SPARK-43992] [SC-133645][sql][PYTHON][connect] Catalog.listFunctions için isteğe bağlı desen ekleme
• [SPARK-43982] [SC-134529][ml][PYTHON][connect] Spark Connect'te ML için işlem hattı tahmin aracı uygulama
• [SPARK-43888] [SC-132893][core] Günlük Kaydını Ortak / Yardımcı Programlara Taşıma
• [SPARK-42941] Geri Al “[SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Olay Serde'si JSON biçiminde”
• [SPARK-43624] [SC-134557][ps][CONNECT] SparkConnectPlanner'a EWM ekleyin.
• [SPARK-43981] [SC-134137][python][ML] Spark Connect üzerinde ML için temel kaydetme/ yükleme uygulaması
• [SPARK-43205] [SC-133371][sql] düzelt SQLQueryTestSuite
• [SPARK-43376] “[SC-130433][sql] Tablo önbelleğiyle yeniden kullanım alt sorgularını iyileştirmeyi geri al”
• [SPARK-44040] [SC-134366][sql] QueryStageExec'in üzerinde AggregateExec düğümü olduğunda işlem istatistiklerini düzeltme
• [SPARK-43919] [SC-133374][sql] Satırdan JSON işlevselliğini ayıklama
• [SPARK-42618] [SC-134433][python][PS] Sonraki ana sürümde pandas ile ilgili davranış değişiklikleri için uyarı
• [SPARK-43893] [SC-133381][python][CONNECT] Arrow ile optimize edilmiş Python UDF'de atomik olmayan veri türü desteği
• [SPARK-43627] [SC-134290][spark-43626][PS][connect] Spark Connect'te pyspark.pandas.spark.functions.{kurt, skew} etkinleştirin.
• [SPARK-43798] [SC-133990][sql][PYTHON] Kullanıcı tanımlı tablo işlevlerini Python desteği
• [SPARK-43616] [SC-133849][ps][CONNECT] Spark Connect'te pyspark.pandas.spark.functions.mode etkinleştirme
• [SPARK-43133] [SC-133728] Scala İstemcisi DataStreamWriter Foreach desteği
• [SPARK-43684] [SC-134107][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Spark Connect için (NullOps|NumOps).(eq|ne) düzeltin.
• [SPARK-43645] [SC-134151][spark-43622][PS][connect] Spark Connect'te pyspark.pandas.spark.functions.{var, stddev} etkinleştirme
• [SPARK-43617] [SC-133893][ps][CONNECT] Spark Connect'te pyspark.pandas.spark.functions.product etkinleştirme
• [SPARK-43610] [SC-133832][connect][PS] Spark Connect'te InternalFrame.attach_distributed_column etkinleştirin.
• [SPARK-43621] [SC-133852][ps][CONNECT] Spark Connect'te pyspark.pandas.spark.functions.repeat etkinleştirme
• [SPARK-43921] [SC-133461][protobuf] Derleme zamanında Protobuf tanımlayıcı dosyaları oluşturma
• [SPARK-43613] [SC-133727][ps][CONNECT] Spark Connect'te pyspark.pandas.spark.functions.covar etkinleştirme
• [SPARK-43376] [SC-130433][sql] Tablo önbelleğiyle yeniden kullanım alt sorgularını iyileştirme
• [SPARK-43612] [SC-132011][connect][PYTHON] Python istemcisinde SparkSession.addArtifact(ler) işlevinin uygulanması
• [SPARK-43920] [SC-133611][sql][CONNECT] sql/api modülü oluşturma
• [SPARK-43097] [SC-133372][ml] Dağıtımcının üzerine yeni pyspark ML lojistik regresyon tahmin aracı uygulandı
• [SPARK-43783] [SC-133240][spark-43784][SPARK-43788][ml] MLv2 (Spark Connect'te ML), pandas >= 2.0'ı destekler hale getiriyor.
• [SPARK-43024] [SC-132716][python] Pandas'ı 2.0.0 sürümüne yükseltme
• [SPARK-43881] [SC-133140][sql][PYTHON][connect] Catalog.listDatabases için isteğe bağlı desen ekleme
• [SPARK-39281] [SC-131422][sql] JSON/CSV veri kaynağında eski biçimle zaman damgası türü tahmini sürecini hızlandırma
• [SPARK-43792] [SC-132887][sql][PYTHON][connect] Catalog.listCatalogs için isteğe bağlı desen ekleme
• [SPARK-43132] [SC-131623] [SS] [CONNECT] Python client DataStreamWriter foreach() API'si
• [SPARK-43545] [SC-132378][sql][PYTHON] İç içe zaman damgası türünü destekleme
• [SPARK-43353] [SC-132734][python] Kalan oturum hatalarını hata sınıfına geçirme
• [SPARK-43304] [SC-129969][connect][PYTHON] NotImplementedErrorPySparkNotImplementedError
• [SPARK-43516] [SC-132202][ml][PYTHON][connect] Spark3.5 için sparkML'nin temel arabirimleri: tahmin aracı/transformatör/model/değerlendirici
• [SPARK-43128] Revert "[SC-131628][connect][SS] recentProgress ve lastProgress'ün yerel Scala API'sine tutarlı biçimde StreamingQueryProgress döndürmesini sağla"
• [SPARK-43543] [SC-131839][python] Pandas UDF'de iç içe MapType davranışını düzeltme
• [SPARK-38469] [SC-131425][core] org.apache.spark.network içinde hata sınıfını kullanma
• [SPARK-43309] [SC-129746][spark-38461][CORE] kategorilerle INTERNAL_ERROR'ı genişletme ve hata sınıfı INTERNAL_ERROR_BROADCAST ekleme
• [SPARK-43265] [SC-129653] Hata çerçevesini ortak bir yardımcı program modülüne taşıma
• [SPARK-43440] [SC-131229][python][CONNECT] Arrow ile optimize edilmiş Python UDF kayıt desteği sağlama
• [SPARK-43528] [SC-131531][sql][PYTHON] pandas DataFrame ile createDataFrame'de yinelenen alan adlarını destekleme
• [SPARK-43412] [SC-130990][python][CONNECT] Arrow ile optimize edilmiş Python UDF'leri için EvalType tanıtıldı.
• [SPARK-40912] [SC-130986][core]KryoDeserializationStream'de Exceptions'in Ek Yükü
• [SPARK-39280] [SC-131206][sql] JSON/CSV veri kaynağında kullanıcı tarafından sağlanan biçimle Zaman damgası türü çıkarımını hızlandırma
• [SPARK-43473] [SC-131372][python] pandas DataFrame'den createDataFrame oluştururken yapı türünü destekleme
• [SPARK-43443] [SC-131024][sql] Geçersiz değer kullanıldığında Zaman damgası tür çıkarımı için karşılaştırma ekleme
• [SPARK-41532] [SC-130523][connect][CLIENT] Birden çok veri çerçevesi içeren işlemler için denetim ekleme
• [SPARK-43296] [SC-130627][connect][PYTHON] Spark Connect oturum hatalarını hata sınıfına geçirme
• [SPARK-43324] [SC-130455][sql] Delta tabanlı kaynaklar için UPDATE komutlarını işleme
• [SPARK-43347] [SC-130148][python] Python 3.7 Desteğini Kaldır
• [SPARK-43292] [SC-130525][core][CONNECT] ExecutorClassLoadercore modülüne taşıma ve Executor#addReplClassLoaderIfNeeded basitleştirme
• [SPARK-43081] [SC-129900] [ML] [CONNECT] Spark bölüm verilerinden veri yükleyen torç dağıtımcı veri yükleyicisi ekleme
• [SPARK-43331] [SC-130061][connect] Spark Connect SparkSession.interruptAll özelliğini ekle
• [SPARK-43306] [SC-130320][python] Spark SQL türlerinden ValueError hata sınıfına geçirme
• [SPARK-43261] [SC-129674][python] Spark SQL türlerinden hata sınıfına TypeError geçirin.
• [SPARK-42992] [SC-129465][python] PySparkRuntimeError'ı tanıtma
• [SPARK-16484] [SC-129975][sql] Datasketches HllSketch için destek ekleme
• [SPARK-43165] [SC-128823][sql] canWrite'i DataTypeUtils'e taşıyın
• [SPARK-43082] [SC-129112][connect][PYTHON] Spark Connect'te ok için iyileştirilmiş Python UDF'ler
• [SPARK-43084] [SC-128654] [SS] Spark connect için applyInPandasWithState desteği ekleme
• [SPARK-42657] [SC-128621][connect] İstemci tarafı REPL sınıf dosyalarını bulma ve yapıt olarak sunucuya aktarma desteği
• [SPARK-43098] [SC-77059][sql] Skaler alt sorguda group by yan tümcesi olduğunda doğruluk COUNT hatası düzeltildi
• [SPARK-42884] [SC-126662][connect] Ammonite REPL tümleştirmesini ekle
• [SPARK-42994] [SC-128333][ml][CONNECT] Yerel Mod PyTorch Distributor desteği
• [SPARK-41498] [SC-125343]"Union aracılığıyla meta verileri yay" özelliğini geri döndürme
• [SPARK-42993] [SC-127829][ml][CONNECT] PyTorch Dağıtımcısını Spark Connect ile uyumlu hale getirme
• [SPARK-42683] [LC-75] Çakışan meta veri sütunlarını otomatik olarak yeniden adlandırma
• [SPARK-42874] [SC-126442][sql] Tüm giriş dosyaları için analiz için yeni altın dosya test çerçevesini etkinleştirme
• [SPARK-42779] [SC-126042][sql] V2 yazma işlemlerinin tavsiye edilen karıştırma bölüm boyutunu belirtmesine izin ver
• [SPARK-42891] [SC-126458][connect][PYTHON] CoGrouped Map API Uygulaması
• [SPARK-42791] [SC-126134][sql] Çözümleme için yeni bir altın dosya test çerçevesi oluşturma
• [SPARK-42615] [SC-124237][connect][PYTHON] AnalyzePlan RPC'yi yeniden düzenleme ve session.version ekleme
• [SPARK-41302] "[TÜM TESTLER][sc-122423][SQL] _LEGACY_ERROR_TEMP_1185'a ad atamayı geri al"
• [SPARK-40770] [SC-122652][python] Şema uyuşmazlığı için applyInPandas için geliştirilmiş hata iletileri
• [SPARK-40770] Geri Döndür "[TÜM TESTLER][sc-122652][PYTHON] Şema uyuşmazlığı için applyInPandas için geliştirilmiş hata iletileri"
• [SPARK-42398] [SC-123500][sql] Varsayılan sütun değerini daralt DS v2 arabirimi
• [SPARK-40770] [TÜM TESTLER][sc-122652][PYTHON] Şema uyuşmazlığı için applyInPandas için geliştirilmiş hata iletileri
• [SPARK-40770] Geri Döndür "[SC-122652][python] Şema uyuşmazlığı için applyInPandas için geliştirilmiş hata iletileri"
• [SPARK-40770] [SC-122652][python] Şema uyuşmazlığı için applyInPandas için geliştirilmiş hata iletileri
• [SPARK-42038] [TÜM TESTLER] "Geri Al: “Geri Al: “[SC-122533][sql] SPJ: Kısmen kümelenmiş dağıtımı destekle””
• [SPARK-42038] Revert "[SC-122533][sql] SPJ: Kısmen kümelenmiş dağıtımı destekle"
• [SPARK-42038] [SC-122533][sql] SPJ: Kısmen kümelenmiş dağıtımı destekleme
• [SPARK-40550] [SC-120989][sql] DataSource V2: Delta tabanlı kaynaklar için DELETE komutlarını işleme
• [SPARK-40770] Geri Döndür "[SC-122652][python] Şema uyuşmazlığı için applyInPandas için geliştirilmiş hata iletileri"
• [SPARK-40770] [SC-122652][python] Şema uyuşmazlığı için applyInPandas için geliştirilmiş hata iletileri
• [SPARK-41302] "[SC-122423][sql] _LEGACY_ERROR_TEMP_1185'e ad atama işlemini geri al"
• [SPARK-40550] Revert “[SC-120989][sql] DataSource V2: Delta tabanlı kaynaklar için DELETE komutlarını yönetme”
• [SPARK-42123] "[SC-121453][sql] DESCRIBE ve SHOW CREATE TABLE çıkışına sütun varsayılan değerlerini eklemeyi geri al"
• [SPARK-42146] [SC-121172][core] SQL modülü bu yöntemi kullandığında maven derlemesinin geçmesini sağlamak için Utils#setStringField yeniden düzenleme
• [SPARK-42119] Revert "[SC-121342][sql] Yerleşik tablo değerli işlevleri satır içi ve inline_outer ekleme"

Önemli Noktalar

• Connect aes_decryplnt ve işlevlerini düzeltme
• Devralınan adlandırılmış demetleri createDataFrame'de çalışacak şekilde düzeltin SPARK-44980
• CodeGenerator Önbelleği artık sınıf yükleyiciye özgü [SPARK-44795]
• [SPARK-44861] eklendi SparkListenerConnectOperationStarted.planRequest
• Akış Sorgularının Connect'in yapıt yönetimiyle çalışmasını sağlama [SPARK-44794]
• ArrowDeserializer, REPL tarafından oluşturulan sınıflarla çalışır [SPARK-44791]
• Spark Connect [SPARK-44876] üzerinde Arrow-optimize edilmiş Python UDF düzeltildi
• Spark Connect SPARK-42554 SPARK-43351'deScala ve Go istemci desteği
• Spark Connect SPARK-42471 için PyTorch tabanlı dağıtılmış ML Desteği
• Python ve Scala’da Spark Connect için Yapılandırılmış Akış desteği SPARK-42938
• Python Spark Connect İstemcisi SPARK-42497
• Arrow Python UDF'lerini Tanıt SPARK-40307
• SPARK-43798
• PySpark hatalarını SPARK-42986 hata sınıflarına geçirme
• PySpark Test Framework SPARK-44042
• Datasketches HllSketch SPARK-16484 için destek ekleme
• Yerleşik SQL İşlevi Geliştirme SPARK-41231
• IDENTIFIER madde SPARK-43205
• Scala, Python ve R API SPARK-43907
• SQL işlevleri için adlandırılmış bağımsız değişken desteği ekleme SPARK-43922
• Spark-41469, veri aktarımı durumunda devre dışı bırakılmış yürütücüde gereksiz görev yeniden çalıştırmalarından kaçının.
• Dağıtılmış ML <> spark connect SPARK-42471
• DeepSpeed Distributor SPARK-44264
• RocksDB durum deposu için SPARK-43421 değişiklik günlüğü denetim noktası uygulaması yapın
• SPARK-42376 işleçler arasında filigran yayılımını sağlamak
• dropDuplicatesWithinWatermark SPARK-42931'i tanıtın
• RocksDB durum deposu sağlayıcısı bellek yönetimi geliştirmeleri SPARK-43311

Spark Connect

• Scala Spark Connect istemcisi ile Spark arasında paylaşılabilecek minimum bağımlılık kümesini oluşturmak ve Spark'ın gereksiz geçişli bağımlılıklarının çekilmesini engellemek için sql modülünün sql ve sql-api şeklinde yeniden yapılandırılması. SPARK-44273
• Spark Connect spark-42554 için Scala istemcisine giriş
• Python Spark Connect İstemcisi SPARK-42497
• Spark Connect SPARK-42471 için PyTorch tabanlı dağıtılmış ML Desteği
• Python ve Scala’da Spark Connect için Yapılandırılmış Akış desteği SPARK-42938
• Go istemcisi SPARK-43351'in ilk sürümü
• Spark yerel ve Spark Connect istemcileri arasında Python ve Scala arasında çok sayıda uyumluluk iyileştirmesi
• İstemci uygulamaları için geliştirilmiş hata ayıklama ve istek işleme (zaman uyumsuz işleme, yeniden denemeler, uzun süreli sorgular)

Spark SQL

Features

• SPARK-42423 meta veri sütunu dosya bloğu başlangıcı ve uzunluğu ekleme
• Scala/Java sql() SPARK-44066
• İşlev çağrıları için ayrıştırıcıya adlandırılmış parametre desteği ekleme SPARK-43922
• SELECT DEFAULT desteği, ORDER BY, LIMIT, ve OFFSET ile INSERT kaynak ilişkisi SPARK-43071 için sağlanacak.
• TVF çağrıları için PARTITION bağımsız değişkenlerinden sonra ORDER BY BY ve TABLE yan tümcesine SQL dil bilgisi ekleyin SPARK-44503
• SPARK-42123 SHOW CREATE TABLE DESCRIBE ve çıkışına sütun varsayılan değerlerini ekleme
• SPARK-43792 Catalog.listCatalogs için isteğe bağlı desen ekleme
• Spark-43881 Catalog.listDatabases için isteğe bağlı desen ekleme
• Yürütmeye hazır olduğunda SPARK-44145 için geri çağırma fonksiyonu
• SPARK-42750 İsme Göre Ekle deyimini destekleme
• Scala API SPARK-44131 için call_function ekleme
• SPARK-40822 kararlı türetilmiş sütun diğer adları
• SPARK-43529 CREATE/REPLACE TABLE OPTIONS değerleri olarak genel sabit ifadeleri destekleme
• INTERSECT/EXCEPT SPARK-36124 aracılığıyla bağıntılı alt sorguları destekleme
• IDENTIFIER madde SPARK-43205
• ANSI MODU: İç dönüştürme taşarsa Conv hata döndürmelidir SPARK-42427

Functions

• Datasketches HllSketch SPARK-16484 için destek ekleme
• aes_encrypt()/aes_decrypt() SPARK-43038 ile CBC modunu destekleme
• TABLE bağımsız değişken ayrıştırıcı kuralını TableValuedFunction için destekleme SPARK-44200
• Bitmap işlevlerini uygulama SPARK-44154
• SPARK-42701 try_aes_decrypt() işlevini ekleme
• array_insert 0 indeksi ile başarısız olmalıdır SPARK-43011
• to_char için to_varchar diğer adını ekle SPARK-43815
• Üst düzey işlev: array_compact uygulaması SPARK-41235
• Yerleşik işlevler için adlandırılmış bağımsız değişkenlere çözümleyici desteği ekleme SPARK-44059
• SPARK-42521 kullanıcı tarafından belirtilen, hedef tablodan daha az sütun içeren listelerle yapılan INSERT'ler için NULL'lar ekleme
• aes_encrypt IV'leri ve AAD için destek ekler SPARK-43290
• DECODE işlevi NULL SPARK-41668 geçirildiğinde yanlış sonuçlar döndürüyor
• 'luhn_check' udf'sini destekle SPARK-42191
• Toplama işlemlerinde örtük yanal sütun takma adı çözümlemesi desteği SPARK-41631
• Pencere SPARK-42217 ile sorgularda örtük yanal sütun adını destekleme
• 3-args işlev diğer adları DATE_ADD ve DATE_DIFF ekle SPARK-43492

Veri Kaynakları

• SPARK-42904 JDBC Kataloğu için Char/Varchar Desteği
• SQL Anahtar Sözcüklerini JDBC API ve TVF Spark-43119 Dinamik Olarak Alma Desteği
• DataSource V2: Delta tabanlı kaynaklar için MERGE komutlarını işleme SPARK-43885
• DataSource V2: SPARK-43963 grup tabanlı kaynaklar için BİRLEŞTİRME komutlarını ele alma
• DataSource V2: Grup tabanlı kaynaklar için UPDATE komutlarını işleme SPARK-43975
• DataSource V2: Güncellemeleri silme ve ekleme olarak temsil etmeye izin verme SPARK-43775
• Jdbc diyalektlerinin kullanıldığı sorguları geçersiz kılarak bir tablo oluşturulmasına izin ver SPARK-41516
• SPJ: Kısmen kümelenmiş dağıtım desteği SPARK-42038
• DSv2, CTAS/RTAS'nin şema null atanabilirliğini ayırmasına olanak tanır SPARK-43390
• spark.sql.files.maxPartitionNum SPARK-44021 ekle
• SPARK-43324 delta tabanlı kaynaklar için komutlarını işleme
• Spark-42779 V2 yazmalarının "shuffle partition" öneri boyutunu belirtmesine izin ver
• Parquet SPARK-43273 için lz4raw sıkıştırma codec'i desteği
• Avro: karmaşık birleşimleri yazma SPARK-25050
• JSON/CSV veri kaynağı SPARK-39280'de kullanıcı tarafından sağlanan biçimle Zaman damgası türü çıkarımını hızlandırma
• Avro, uzun SPARK-43901 tarafından desteklenen özel ondalık türünü destekleyecek
• Bölüm anahtarları uyuşmazlığı olduğunda birleştirme Storage-Partitioned karıştırmaktan kaçının, ancak birleştirme ifadeleri SPARK-41413 uyumludur
• CSV formatta ikiliyi desteklenmeyen veri tipi olarak değiştir SPARK-42237
• Avro'nın spark-43333 türüyle alan adı kararlı olan birleşim türünü SQL'e dönüştürmesine izin ver
• JSON/CSV veri kaynağı SPARK-39281'de eski biçimle Zaman damgası türü çıkarımını hızlandırma

Sorgu İyileştirme

• Alt ifade eleme desteği kısayol ifadesi SPARK-42815
• Bir tarafın benzersizliği koruyabildiği durumda, birleştirme istatistikleri tahminini geliştirme SPARK-39851
• SPARK-37099 Top-k hesaplamayı optimize etmek için Window'un derece tabanlı filtrede grup sınırını tanıtın
• SPARK-44431 iyileştirme kurallarında null IN (boş liste) davranışını düzeltme
• SPARK-41171 partitionSpec boşsa, pencere sınırını çıkartın ve pencere üzerinden aşağı itin.
• SPARK-42583 Eğer hepsi ayrı toplama işlevleriyse dış birleşimi kaldırın.
• SPARK-42525 alt sorguda aynı bölüme/sıraya sahip iki bitişik pencereyi daralt
• Python UDF'leri ile limit indirme SPARK-42115
• SPARK-40045 filtreleme koşullarının sırasını optimize et

Kod Oluşturma ve Sorgu Yürütme

• Çalışma zamanı filtresi, filtre oluşturma tarafı olarak çok düzeyli karıştırma birleştirme tarafını desteklemelidir SPARK-41674
• HiveSimpleUDF SPARK-42052 için Codegen Desteği
• HiveGenericUDF SPARK-42051 için Codegen Desteği
• SPARK-44060 build tarafı dış karışık karma birleştirme için Codegen desteği
• to_csv işlevi (StructsToCsv) SPARK-42169 için kod oluşturma uygulama
• InMemoryTableScanExec için AQE desteğini sağlayın SPARK-42101
• SPARK-36612 karıştırılmış karma birleştirme içinde sol dış birleştirme derleme veya sağ dış birleştirme derleme desteği
• Respect RequiresDistributionAndOrdering'a saygı göster CTAS/RTAS SPARK-43088
• Birleştirme demetleri spark-43107 yayın birleştirme akışı tarafında uygulandı
• SPARK-44251 tam dış USING birleştirme birleştirilmiş birleştirme anahtarında null atanabilir değeri doğru olarak ayarlayın
• IN alt sorgusu ListQuery null atanabilirlik düzelt SPARK-43413

Diğer Önemli Değişiklikler

• USING birleşimlerinde anahtarlar için null atanabilirliği doğru ayarlayın SPARK-43718
• COUNT(*) null hatasını, bağıntılı skaler alt sorgu SPARK-43156'da düzelt
• Dataframe.joinWith outer-join, eşleşmeyen satır için null değer döndürmelidir SPARK-37829
• SPARK-42683 çakışan meta veri sütunlarını otomatik olarak yeniden adlandırma
• Kullanıcıya yönelik belgelerde Spark SQL hata sınıflarını belgeleme SPARK-42706

PySpark

Features

• Python sql() SPARK-44140
• sql() SPARK-41666 tarafından parametreleştirilmiş SQL desteği
• Kullanıcı tanımlı tablo işlevlerini SPARK-43797
• Çalışma zamanı sırasında işçilerde UDF ve pandas işlev API'leri için Python yürütülebilir dosyanın ayarlanması desteği SPARK-43574
• DataFrame.offset'i PySpark'a ekle SPARK-43213
• pyspark.sql.dataframe.DataFrame'de dir() uygulayarak SPARK-43270 için sütunları dahil edin.
• Spark-39979 ok UDF işlemleri için büyük değişken genişlik vektörleri kullanma seçeneği eklendi
• mapInPandas / mapInArrow'un bariyer modu yürütmeyi desteklemesini sağla SPARK-42896
• PySpark SparkContext SPARK-44194'e JobTag API'leri ekleme
• Python'da analiz yapmak için Python UDTF desteği SPARK-44380
• pyspark.sql.types SPARK-43759'da TimestampNTZType'ı kullanıma sunma
• İçiçe zaman damgası türünü destekleme SPARK-43545
• pandas DataFrame ve toPandas'tan createDataFrame'de UserDefinedType desteği [SPARK-43817][spark-43702]https://issues.apache.org/jira/browse/SPARK-43702)
• Pyspark Protobuf API SPARK-43799'a tanımlayıcı ikili seçeneği ekleme
• Pandas UDF'nin tip ipuçları olarak genel demetleri kabul et SPARK-43886
• array_prepend işlevini ekle SPARK-41233
• assertDataFrameEqual yardımcı program fonksiyonunu ekle SPARK-44061
• Ok optimize edilmiş Python UDTF'leri SPARK-43964 destekleyin
• Yaklaşık fp eşitliği için özel duyarlılığa izin ver SPARK-44217
• assertSchemaEqual API'sini herkese açık hale getirme SPARK-44216
• ps.Series için fill_value desteği SPARK-42094
• pandas DataFrame SPARK-43473'ten createDataFrame'de yapı türünü destekleme

Diğer Önemli Değişiklikler

• pyspark.sql.dataframe.DataFrame'de df[|] için otomatik tamamlama desteği eklendi [SPARK-43892]
• Pandas 2.0'da kaldırılacak API'leri kullanımdan kaldırma & kaldırma [SPARK-42593]
• Python kod örnekleri için ilk sekme yapın: Spark SQL, DataFrames ve Veri Kümeleri Kılavuzu SPARK-42493
• Kalan Spark belge kodu örnekleri varsayılan olarak SPARK-42642
• Ok KaydıBatch oluştururken yinelenen alan adlarını kaldırarak kullanın [SPARK-41971]
• pandas DataFrame ile createDataFrame'de yinelenen alan adlarını destekleme [SPARK-43528]
• Series ile DataFrame oluştururken columns parametresine izin ver [SPARK-42194]

Core

• Birleştirmeyi zamanlama Gönderme birleştirme shuffleMapStage yeniden denediğinde ancak çalışan görevler olmadığında birleştirmeyi sonlandır SPARK-40082
• SQL işleci yürütme için PartitionEvaluator'ın tanıtılması SPARK-43061
• ShuffleDriverComponent'in karıştırma verilerinin güvenilir bir şekilde depolanıp depolanmadığını beyan etmesine izin ver SPARK-42689
• Olası sonsuz yeniden deneme spark-42577 önlemek için aşamalar için maksimum deneme sınırlaması ekleyin
• Statik Spark ayarı SPARK-43782 ile günlük seviyesi yapılandırmasını destekleme
• PercentileHeap SPARK-42528 İyileştir
• TaskScheduler.cancelTasks SPARK-42602'ye neden bağımsız değişkenini ekle
• Spark-41469, veri aktarımı durumunda devre dışı bırakılmış yürütücüde gereksiz görev yeniden çalıştırmalarından kaçının.
• Rdd önbelleği SPARK-41497 ile yeniden deneme görevi durumunda akümülatör alt sayımı düzeltildi
• Spark.history.store.hybridStore.diskBackend için RocksDB'i varsayılan olarak SPARK-42277 kullanın
• Guava Cache SPARK-43300 için NonFateSharingCache sarıcı
• MapOutputTracker.updateMapOutput SPARK-43043 performansını geliştirme
• Uygulamaların Dış Karıştırma Hizmeti SPARK-43179 tarafından meta verilerinin db'ye kaydedilip kaydedilmediğini denetlemesine izin verme
• Spark-42769 yürütücü podlarına SPARK_DRIVER_POD_IP env değişkeni ekleme
• Hadoop yapılandırma eşlemesini yürütücü podu SPARK-43504'e bağlar

Yapılandırılmış Akış

• RocksDB durum deposu SPARK-43120 için sabitlenmiş blok bellek kullanımını izleme desteği ekleme
• Ekleme RocksDB durum deposu sağlayıcısı bellek yönetimi geliştirmeleri SPARK-43311
• dropDuplicatesWithinWatermark SPARK-42931'i tanıtın
• StreamingQueryListener için yeni bir onQueryIdle() geri çağırma işlevi tanıtın SPARK-43183
• StreamingWrite API'nin DSv2 kaynakları/havuzları için işlem koordinatörünü atlama seçeneği ekleyin SPARK-42968
• StreamingQueryListener içinde yeni bir geri çağırma olan "onQueryIdle"i tanıtın SPARK-43183
• RocksDB Durum Deposu Sağlayıcısı SPARK-43421 için Changelog tabanlı Denetim Noktası Oluşturma uygulama
• Streaming durumlu işleçlerde kullanılan RocksDB için WRITE_FLUSH_BYTES desteği ekle SPARK-42792
• Spark-42819 akışında kullanılan RocksDB için max_write_buffer_number ve write_buffer_size ayarlama desteği ekleme
• RocksDB StateStore kilit alımı, inputRDD SPARK-42566'dan giriş yineleyicisi aldıktan sonra gerçekleşmelidir
• SPARK-42376 işleçler arasında filigran yayılımını sağlamak
• RocksDB denetim noktası dizini SPARK-42353'te yalnız bırakılmış sst ve günlük dosyalarını temizleme
• Özel durum varsa, QueryTerminatedEvent'i Spark-43482'nin içinde hata sınıfını içerecek şekilde genişletin.

Makine Öğrenmesi (ML)

• Deepspeed SPARK-44264 Kullanarak İşlevlerin Dağıtılmış Eğitimini Destekleme
• Spark3.5 için sparkML'nin temel arabirimleri: tahmin aracı/transformatör/model/değerlendirici SPARK-43516
• MLv2'yi (Spark connect'te ML) pandas >= 2.0'ı destekler yapma SPARK-43783
• SPARK-43516 MLv2 Transformer arabirimlerini güncelleştirme
• Dağıtımcı SPARK-43097 üzerine uygulanan yeni pyspark ML lojistik regresyon tahmin aracı
• Classifier.getNumClasses'i SPARK-42526'ya geri ekleme
• DeepspeedTorchDistributor Deepspeed Dağıtılmış Öğrenme Sınıfı SPARK-44264 yazın
• Spark connect SPARK-43981 üzerinde ML için temel kaydetme/yükleme uygulaması
• Lojistik regresyon modelinin kaydedilmesini geliştirme SPARK-43097
• Spark connect SPARK-43982 üzerinde ML için işlem hattı tahmin aracı uygulama
• SPARK-43983 çapraz doğrulayıcı tahmin aracı uygulama
• Sınıflandırma değerlendiricisini uygula SPARK-44250
• PyTorch Dağıtımcısını Spark Connect SPARK-42993 ile uyumlu hale getirme

Kullanıcı Arayüzü (UI)

• Spark Connect SPARK-44394 için Spark kullanıcı arabirimi sayfası ekleme
• Yürütücüler sekmesindeki Yığın Histogramı sütununu destekle SPARK-44153
• Başarısız olan her sorgu için kullanıcı arabiriminde hata iletisini göster SPARK-44367
• Spark-44309 Yürütücüler Sekmesinde Yürütücülerin Ekleme/Kaldırma Zamanını Görüntüleme

Derleme ve Diğerleri

• Python 3.7 Desteğini kaldır SPARK-43347
• PyArrow en düşük sürümünü 4.0.0 SPARK-44183 olarak ayarlayın
• R 4.3.1 SPARK-43447SPARK-44192 desteği
• SparkR SparkContext SPARK-44195'e JobTag API'leri ekleme
• SparkR SPARK-44349'a matematik işlevleri ekleme
• Parquet'i 1.13.1 SPARK-43519 sürümüne yükseltme
• ASM'yi 9.5 SPARK-43537SPARK-43588 sürümüne yükseltme
• rocksdbjni'yi 8.3.2 sürümüne yükseltin SPARK-41569SPARK-42718SPARK-43007SPARK-43436SPARK-44256
• Netty'yi 4.1.93 sürümüne yükseltme SPARK-42218SPARK-42417SPARK-42487SPARK-43609SPARK-44128
• zstd-jni'yi 1.5.5-5 SPARK-42409SPARK-42625SPARK-43080SPARK-43294SPARK-43737SPARK-43994SPARK-44465'e yükseltin
• Dropwizard ölçümlerini yükseltme 4.2.19 SPARK-42654SPARK-43738SPARK-44296
• gcs-connector'ı 2.2.14 SPARK-42888SPARK-43842 sürümüne yükseltme
• commons-crypto'yi 1.2.0 SPARK-42488 sürümüne yükseltme
• Scala-parser-combinators'ı 2.1.1'den 2.2.0 SPARK-42489'a yükseltme
• protobuf-java'yı 3.23.4 sürümüne yükseltin SPARK-41711SPARK-42490SPARK-42798SPARK-43899SPARK-44382
• Commons-codec bileşenini 1.16.0 SPARK-44151 sürümüne yükseltme
• Apache Kafka'yi 3.4.1 SPARK-42396SPARK-44181 sürümüne yükseltme
• RoaringBitmap'i 0.9.45 SPARK-42385SPARK-43495SPARK-44221'e yükseltin
• SPARK-42820 SPARK-44053SPARK-44231ORC'yi 1.9.0'a güncelleştirme
• Avro 1.11.2 SPARK-44277 sürümüne yükseltme
• Commons-compress'ı 1.23.0 SPARK-43102 sürümüne yükseltme
• joda-time'ı 2.12.2'den 2.12.5 SPARK-43008'e yükseltin
• snappy-java'yı 1.1.10.3 sürümüne yükseltin SPARK-42242SPARK-43758SPARK-44070SPARK-44415SPARK-44513
• mysql-connector-java dosyasını 8.0.31'den 8.0.32 SPARK-42717 sürümüne yükseltin
• Apache Arrow'u 12.0.1 sürümüne yükseltme SPARK-42161SPARK-43446SPARK-44094
• commons-io'yi 2.12.0 SPARK-43739 sürümüne yükseltme
• Apache commons-io'yi 2.13.0 SPARK-43739SPARK-44028 sürümüne yükseltme
• FasterXML jackson'ı 2.15.2 SPARK-42354SPARK-43774 SPARK-43904 sürümüne yükseltin
• Log4j2'yi 2.20.0 SPARK-42536 sürümüne yükseltme
• slf4j'yi 2.0.7 SPARK-42871 sürümüne yükseltin
• Dockerfile SPARK-42524 sürümünde numpy ve pandas'ı yükseltin
• Jersey'i 2.40 SPARK-44316 sürümüne yükseltme
• H2'yi 2.1.214'ten 2.2.220 SPARK-44393'e yükseltme
• Optionator'ı ^0.9.3 SPARK-44279 sürümüne yükseltin
• bcprov-jdk15on ve bcpkix-jdk15on'ı 1,70 SPARK-44441'e yükseltin
• mlflow'ı 2.3.1 SPARK-43344'e yükseltme
• Tink'i 1.9.0 SPARK-42780 sürümüne yükseltme
• Susturucu 1.7.13 SPARK-41787SPARK-44031 sürümüne yükseltin
• Ammonite'ı 2.5.9 SPARK-44041 sürümüne yükseltme
• Scala'yi 2.12.18 SPARK-43832 sürümüne yükseltme
• org.scalatestplus:selenium-4-4'i org.scalatestplus:selenium-4-7 SPARK-41587'ye yükseltin
• Minimatch'i 3.1.2 SPARK-41634'e yükseltme
• sbt derlemesini 2.0.0'dan 2.1.0 SPARK-41704'e yükseltme
• maven-checkstyle-plugin'i 3.1.2'den 3.2.0'a güncelle SPARK-41714
• dev.ludovic.netlib dosyasını 3.0.3 SPARK-41750 sürümüne yükseltin
• hive-storage-api'yi 2.8.1 SPARK-41798 sürümüne yükseltme
• Apache httpcore'ı 4.4.16 SPARK-41802 sürümüne yükseltme
• Jetty'yi 9.4.52.v20230823 SPARK-45052 sürümüne yükseltin
• compress-lzf'yi 1.1.2 SPARK-42274 sürümüne yükseltme

Kaldırma İşlemleri, Kullanımdan Kaldırmalar ve Davranış Değişiklikleri

Yaklaşan Kaldırılma

Sonraki Spark ana sürümünde aşağıdaki özellikler kaldırılacak

• Java 8 ve Java 11 desteği ve desteklenen en düşük Java sürüm Java 17 olacaktır
• Scala 2.12 desteği ve desteklenen en düşük Scala sürümü 2.13 olacaktır

Geçiş Kılavuzları

• Spark Core
• SQL, Veri Kümeleri ve DataFrame
• Yapılandırılmış Akış
• MLlib (Machine Learning)
• PySpark (Spark'ta Python)
• SparkR (Spark üzerinde R)

Databricks ODBC/JDBC sürücü desteği

Databricks, son 2 yılda yayımlanan ODBC/JDBC sürücülerini destekler. Lütfen son yayınlanan sürücüleri indirin ve yükseltin (ODBC'yi indirin, JDBC'yi indirin).

Sistem ortamı

• İşletim Sistemi: Ubuntu 22.04.3 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Gölü: 2.4.0

Yüklü Python kitaplıkları

Yüklü R kitaplıkları

R kitaplıkları, 2023-07-13 tarihinde Posit Paket Yöneticisi CRAN anlık görüntüsünden yüklenir.

Yüklü Java ve Scala kitaplıkları (Scala 2.12 küme sürümü)