Databricks Runtime 14.1 (EoS)

Aşağıdaki sürüm notları, Apache Spark 3.5.0 tarafından desteklenen Databricks Runtime 14.1 hakkında bilgi sağlar.

Databricks bu sürümü Ekim 2023'te yayımladı.

Yeni özellikler ve geliştirmeler

• array_insert() negatif dizinler için 1 tabanlıdır
• Sıvı kümeleme ile varsayılan olarak etkinleştirilen Delta v2 denetim noktaları
• Genel Önizleme'de Delta tablosu özelliğini bırakma
• Delta Paylaşımı: Alıcılar, paylaşılan tablolarda silme vektörleriyle toplu sorgular gerçekleştirebilir (Genel Önizleme)
• Delta Paylaşımı: Alıcılar, sütun eşlemesi (Genel Önizleme) ile paylaşılan tablolarda toplu sorgular gerçekleştirebilir
• Genel Önizleme'de Unity Kataloğu görünümlerinden akış yapma
• Genel Önizleme'de Apache Pulsar bağlayıcısı
• Güncellenmiş Snowflake sürücüsü
• SQL Oturumu değişkenleri
• SQL ve Python UDF için adlandırılmış parametre çağrısı.
• İşlevlerin tablo bağımsız değişkenleri bölümleme ve sıralamayı destekler.
• Yeni ve geliştirilmiş yerleşik SQL işlevleri
• bağıntılı alt sorguların işlenmesi iyileştirildi

array_insert() negatif dizinler için 1 tabanlıdır

İşlev array_insert , hem pozitif hem de negatif dizinler için 1 tabanlıdır. Şimdi -1 dizini için giriş dizilerinin sonuna yeni öğe ekler. Önceki davranışı geri yüklemek için spark.sql.legacy.negativeIndexInArrayInserttrueolarak ayarlayın.

Sıvı kümeleme ile varsayılan olarak etkinleştirilen Delta v2 denetim noktaları

Sıvı kümeleme ile yeni oluşturulan Delta tabloları varsayılan olarak v2 denetim noktalarını kullanır. Bkz. Sıvı kümeleme ile tablolar için uyumluluk.

Genel Önizleme'de Delta tablosu özelliğini bırakma

Artık Delta tabloları için bazı tablo özelliklerini bırakabilirsiniz. Geçerli destek, deletionVectors ve v2Checkpoint'nin bırakılmasını içerir. Bkz . Delta Lake tablosu özelliğini bırakma ve tablo protokolünü düşürme.

Delta Paylaşımı: Alıcılar, paylaşılan tablolarda silme vektörleriyle toplu sorgular gerçekleştirebilir (Genel Önizleme)

Delta Sharing alıcıları artık paylaşılan tablolarda silme vektörleri kullanan toplu sorgular gerçekleştirebilir. Silme vektörleri veya sütun eşlemesi olan tabloları paylaşıma ekleme'e bakın, Silme vektörleri veya sütun eşlemesi etkinleştirilmiş tabloları okumave silme vektörleri veya sütun eşlemesi etkinleştirilmiş tabloları okuma.

Delta Paylaşımı: Alıcılar, sütun eşlemesi (Genel Önizleme) ile paylaşılan tablolarda toplu sorgular gerçekleştirebilir

Delta Sharing alıcıları artık sütun eşleme kullanan paylaşılan tablolarda toplu sorgular gerçekleştirebilir. Silme vektörleri veya sütun eşlemesi olan tabloları paylaşıma ekleme'e bakın, Silme vektörleri veya sütun eşlemesi etkinleştirilmiş tabloları okumave silme vektörleri veya sütun eşlemesi etkinleştirilmiş tabloları okuma.

Unity Kataloğu görünümlerinden Genel Önizleme Aşaması'nda akış yapma

Artık Unity Kataloğu'na kayıtlı görünümlerden akış okumaları gerçekleştirmek için Yapılandırılmış Akış'ı kullanabilirsiniz. Azure Databricks yalnızca Delta tablolarında tanımlanan görünümlerden akış okumalarını destekler.

Genel Önizleme'de Apache Pulsar bağlayıcısı

Artık Azure Databricks üzerinde Apache Pulsar'dan veri akışı yapmak için Yapılandırılmış Akış'ı kullanabilirsiniz. Apache Pulsar'dan Akışını Gör.

Yükseltilmiş Snowflake sürücüsü

Snowflake JDBC sürücüsü artık 3.13.33 sürümünü kullanıyor.

SQL Oturumu değişkenleri

Bu sürüm, bir oturumda, sorgular içinden ayarlanabilen ve sonra başvurulabilen geçici değişkenleri bildirme özelliğini tanıtır. Bkz. Değişkenler.

SQL ve Python UDF için adlandırılmış parametre çağırma.

Artık SQL ve Python UDF üzerinde Named parametre çağırma kullanabilirsiniz.

İşlevlere yönelik tablo bağımsız değişkenleri bölümleme ve sıralamayı destekler.

Artık PARTITION BY ve ORDER BY yan tümcelerini, işlev çağırma sırasında tablo bağımsız değişkenlerinin bir işleve nasıl geçirildiğini kontrol etmek amacıyla kullanabilirsiniz .

Yeni ve geliştirilmiş yerleşik SQL işlevleri

Aşağıdaki yerleşik işlevler eklendi:

• from_xml: XML'yi STRING içine STRUCTayrıştırıyor.
• schema_of_xml: XML'den STRINGşema türetir.
• session_user: Oturum açmış kullanıcıyı döndürür.
• try_reflect: Java yöntemi başarısız olursa özel durum yerine NULL döndürür.

Aşağıdaki yerleşik işlevler geliştirilmiştir:

• mode: Belirleyici bir sonucu zorlayan isteğe bağlı parametre desteği.
• to_char: DATE, TIMESTAMP ve BINARY için yeni destek.
• to_varchar: DATE, TIMESTAMP, ve BINARY için yeni destek.

bağıntılı alt sorguların işlenmesi iyileştirildi

Alt sorgularda bağıntıyı işleme özelliği genişletilmiştir:

• Limit ve sıralamayı bağıntılı skaler (yanal) alt sorgularda işleme.
• Bağıntılı skaler alt sorgularda destek penceresi işlevleri.
• Skaler ve yanal alt sorgular için birleşim koşullarında ilişkili başvuruların desteklenmesi

Davranış değişikliği

Photon Parquet okuyucuda katı tür denetimi

Foton, ondalık türü olmayan bir Parquet sütunundan ondalık değeri okumaya çalışırken başarısız olur. Foton, Parquet'den dize olarak sabit uzunlukta bir bayt dizisi okurken de başarısız olur.

Kitaplık yükseltmeleri

• Yükseltilmiş Python kitaplıkları:
  • 3.12.2 ile 3.12.3 arasında dosya kilidi
  • s3transfer 0.6.1'den 0.6.2'ye
• Yükseltilmiş Java kitaplıkları:
  • com.uber.h3 3.7.0'dan 3.7.3'e
  • io.airlift.aircompressor, 0,24 sürümünden 0,25 sürümüne
  • 0.7.1 ile 0.7.5 arasındaki io.delta.delta-sharing-spark_2.12
  • io.netty.netty-all 4.1.93.Final'den 4.1.96.Final'e
  • io.netty.netty-buffer 4.1.93.Final'den 4.1.96.Final'e
  • io.netty.netty-codec 4.1.93.Final'den 4.1.96.Final'e
  • 4.1.93.Final'den 4.1.96.Final'e kadar io.netty.netty-codec-http.
  • io.netty.netty-codec-http2 sürümü 4.1.93.Final'den 4.1.96.Final'e güncellendi
  • 4.1.93.Final'den 4.1.96.Final'e kadar io.netty.netty.netty-codec-socks
  • io.netty.netty-common'u 4.1.93.Final'dan 4.1.96.Final'a
  • io.netty.netty-handler 4.1.93.Final sürümünden 4.1.96.Final sürümüne
  • 4.1.93.Final'den 4.1.96.Final'e kadar io.netty.netty-handler-proxy
  • io.netty.netty-resolver 4.1.93.Final sürümünden 4.1.96.Final sürümüne
  • io.netty.netty-transport'u 4.1.93.Final sürümünden 4.1.96.Final sürümüne
  • io.netty.netty-transport-classes-epoll 4.1.93.Final sürümünden 4.1.96.Final sürümüne
  • io.netty.netty-transport-classes-kqueue 4.1.93.Final'dan 4.1.96.Final'e
  • io.netty.netty-transport-native-epoll 4.1.93.Final-linux-x86_64'den 4.1.96.Final-linux-x86_64'e
  • io.netty.netty-transport-native-kqueue şu sürümden 4.1.93.Final-osx-x86_64 şu sürüme 4.1.96.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common 4.1.93.Final'dan 4.1.96.Final'a
  • net.snowflake.snowflake-jdbc 3.13.29 ile 3.13.33 arası
  • org.apache.orc.orc-core 1.9.0-shaded-protobuf'dan 1.9.1-shaded-protobuf'a
  • org.apache.orc.orc-mapreduce 1.9.0-shaded-protobuf sürümünden 1.9.1-shaded-protobuf sürümüne
  • org.apache.orc.orc-shims 1.9.0'dan 1.9.1'e güncelleme

Apache Spark

Databricks Runtime 14.1, Apache Spark 3.5.0'ı içerir. Bu sürüm, Databricks Runtime 14.0'a (EoS) dahil olan tüm Spark düzeltmeleri ve iyileştirmelerinin yanı sıra Spark'ta yapılan aşağıdaki ek hata düzeltmelerini ve iyileştirmeleri içerir:

• [SPARK-45088] [DBRRM-557] “[SC-142785][python][CONNECT] Getitem'in yinelenen sütunla çalışmasını sağlama” işlemini geri al
• [SPARK-43453] [DBRRM-557]“[SC-143135][ps] names için MultiIndex yaparken axis=1concat yoksay” geri alındı
• [SPARK-45225] [SC-143207][sql] XML: XSD dosya URL'si desteği
• [SPARK-45156] [SC-142782][sql] Hata sınıfında inputName ifadesini tırnak işaretleriyle sarın NON_FOLDABLE_INPUT
• [SPARK-44910] [SC-143082][sql] Encoders.bean, genel tür bağımsız değişkenleriyle üst sınıfları desteklemiyor
• [SPARK-43453] [SC-143135][ps] için names yaparken MultiIndex ve axis=1 öğesini yoksayın concat
• [SPARK-44463] [SS][connect] Bağlantı buharlama Python çalışanı için hata işlemeyi geliştirme
• [SPARK-44960] [SC-141023][ui] Kullanıcı arabirimi sayfalarında kaçış karakterlerini kaldırma ve hata özetlerinde tutarlılığı sağlama
• [SPARK-44788] [SC-142980][connect][PYTHON][sql] pyspark, spark connect ve sql işlevine from_xml ve schema_of_xml ekleme
• [SPARK-44614] [SC-138460][python][CONNECT][3.5] setup.py'e eksik paketleri ekle
• [SPARK-45151] [SC-142861][core][UI] Görev Düzeyi İş Parçacığı Dökümü Desteği
• [SPARK-45056] [SC-142779][python][SS][connect] streamingQueryListener ve foreachBatch için sonlandırma testleri
• [SPARK-45084] [SC-142828][ss] StateOperatorProgress, doğru etkin karıştırma bölüm numarasını kullanacaktır.
• [SPARK-44872] [SC-142405][connect] Sunucu test altyapısı ve ReattachableExecuteSuite
• [SPARK-45197] [SC-142984][core] StandaloneRestServer sürücülere JavaModuleOptions eklemesi yapın
• [SPARK-44404] [SC-139601][sql] LEGACY_ERROR_TEMP hata sınıfına ad atama[1009,1010,1013,1015,1016,1278]
• [SPARK-44647] [SC-142297][sql] Birleştirme anahtarlarının küme anahtarlarından küçük olduğu SPJ desteği
• [SPARK-45088] [SC-142785][python][CONNECT] getitem yinelenen sütunlarla çalışmasını sağla
• [SPARK-45128] [SC-142851][sql] Arrow'da CalendarIntervalType desteği
• [SPARK-45130] [SC-142976][connect][ML][python] Spark connect ML modelinin giriş pandas veri çerçevesini değiştirmesinden kaçının
• [SPARK-45034] [SC-142959][sql] Deterministik mod işlevini destekleme
• [SPARK-45173] [SC-142931][ui] Kullanıcı arabiriminde bazı gereksiz kaynak eşleme dosyalarını kaldırma
• [SPARK-45162] [SC-142781][sql] aracılığıyla yapılan eşlemeleri ve dizi parametrelerini destekleyin call_function
• [SPARK-45143] [SC-142840][python][CONNECT] PySpark'ı PyArrow 13.0.0 ile uyumlu hale getirme
• [SPARK-45174] [SC-142837][core] Desteği spark.deploy.maxDrivers
• [SPARK-45167] [SC-142956][connect][PYTHON] Python istemcisinin release_all çağrısı yapması gerekir
• [SPARK-36191] [SC-142777][sql] Bağıntılı skaler (yanal) alt sorgularda sınırı ve sıralamayı işleme
• [SPARK-45159] [SC-142829][python] Adlandırılmış bağımsız değişkenleri yalnızca gerektiğinde işleme
• [SPARK-45133] [SC-142512][connect] Son sonuç görevi tamamlandığında Spark Connect sorgularının TAMAMLI olmasını sağlama
• [SPARK-44801] [SC-140802][sql][UI] Dinleyici ve kullanıcı arabiriminde başarısız sorguları analiz etmek ve yakalamak
• [SPARK-45139] [SC-142527][sql] SQL türü dönüştürmeyi işlemek için DatabricksDialect Ekleme
• [SPARK-45157] [SC-142546][sql] Yinelenen if denetimlerden kaçının [On|Off|HeapColumnVector
• [SPARK-45077] "[SC-142069][ui] dagre-d3.js'ı 04.3'ten 0.6.4'e yükseltmeyi geri al"
• [SPARK-45145] [SC-142521][örnek] JavaSparkSQLCli örneği ekleme
• [SPARK-43295] “[SC-142254][ps] için dize türü sütunlarını DataFrameGroupBy.sum desteklemeyi geri al”
• [SPARK-44915] [SC-142383][core] Kurtarmadan önce yeniden takılı PVC'nin karıştırma verilerinin sağlama toplamını doğrula
• [SPARK-45147] [SC-142524][core] Kullanımı kaldırma System.setSecurityManager
• [SPARK-45104] [SC-142206][ui] 1.0.2 sürümüne yükseltme graphlib-dot.min.js
• [SPARK-44238] [SC-141606][core][SQL] için bayt dizisi girişi ile yeni bir yöntem tanıtın readFromBloomFilter
• [SPARK-45060] [SC-141742][sql] to_char()NULL format üzerine içsel bir hata düzeltildi
• [SPARK-43252] [SC-142381][sql] Hata sınıfını _LEGACY_ERROR_TEMP_2016 iç hatayla değiştirme
• [SPARK-45069] [SC-142279][sql] SQL değişkeni her zaman dış başvurudan sonra çözümlenmelidir
• [SPARK-44911] [SC-142388][sql] Geçersiz bir sütunla hive tablosu oluşturma, bir hata sınıfı döndürmelidir.
• [SPARK-42754] [SC-125567][sql][UI] İç içe SQL yürütmesinde geriye dönük uyumluluk sorununu düzeltme
• [SPARK-45121] [SC-142375][connect][PS] Spark Connect için destek Series.empty .
• [SPARK-44805] [SC-142203][sql] getBytes/getShorts/getInts/etc. bir sözlüğe sahip olan sütun vektöründe çalışabilir.
• [SPARK-45027] [SC-142248][python] İç işlevleri/değişkenleri pyspark.sql.functions otomatik tamamlamadan gizleme
• [SPARK-45073] [SC-141791][ps][CONNECT] şununla değiştir LastNotNullLast(ignoreNulls=True)
• [SPARK-44901] [SC-141676][sql] Manuel geri alma: Bölümleme/sıralama ifadeleri döndürmek için Python UDTF 'çözümle' yöntemine API eklenmesi
• [SPARK-45076] [SC-141795][ps] Yerleşik repeat işleve geçiş yapma
• [SPARK-44162] [SC-141605][core] Spark ölçümlerinde G1GC desteği
• [SPARK-45053] [SC-141733][python][MINOR] Python sürümü uyumsuzluğuna yönelik log iyileştirmesi
• [SPARK-44866] [SC-142221][sql] BOOLEAN türünü doğru işlemek için ekle SnowflakeDialect
• [SPARK-45064] [SC-141775][python][CONNECT] Içinde eksik scale parametreyi ekleme ceil/ceiling
• [SPARK-45059] [SC-141757][connect][PYTHON] Scala ve Python'e try_reflect işlevleri ekleme
• [SPARK-43251] [SC-142280][sql] Hata sınıfını _LEGACY_ERROR_TEMP_2015 iç hatayla değiştirme
• [SPARK-45052] [SC-141736][sql][PYTHON][connect] İşlev diğer adlarının çıkış sütun adını SQL ile tutarlı hale getirme
• [SPARK-44239] [SC-141502][sql] Vektörler sıfırlandığında büyük vektörler tarafından ayrılan boş bellek
• [SPARK-43295] [SC-142254][ps] için dize türünde sütunlar desteği DataFrameGroupBy.sum
• [SPARK-45080] [SC-142062][ss] DSv2 akış veri kaynaklarında columnar desteğini açıkça belirtme
• [SPARK-45036] [SC-141768][sql] SPJ: Kısmen kümelenmiş dağıtımı işlemek için mantığı basitleştirme
• [SPARK-45077] [SC-142069][ui] dagre-d3.js 0.4.3'ten 0.6.4'e yükseltme
• [SPARK-45091] [SC-142020][python][CONNECT][sql] İşlev floor/round/bround Sütun türünü kabul et scale
• [SPARK-45090] [SC-142019][python][CONNECT] DataFrame.{cube, rollup} sütun sıra numaralarını destekle
• [SPARK-44743] [SC-141625][sql] İşlev ekleme try_reflect
• [SPARK-45086] [SC-142052][ui] İş parçacığı kilidi karma kodunu onaltılık olarak görüntüle
• [SPARK-44952] [SC-141644][sql][PYTHON] Toplama Pandas UDF'lerinde adlandırılmış bağımsız değişkenler desteği
• [SPARK-44987] [SC-141552][sql] Hata sınıfına ad atama _LEGACY_ERROR_TEMP_1100
• [SPARK-45032] [SC-141730][connect] ile ilgili derleme uyarılarını düzeltme Top-level wildcard is not allowed and will error under -Xsource:3
• [SPARK-45048] [SC-141629][connect] Python istemcisi ve eklenebilir yürütme için ek testler ekleme
• [SPARK-45072] [SC-141807][connect] Ammonite sınıfları için dış kapsamları düzeltme
• [SPARK-45033] [SC-141759][sql] Parametreli haritaları destekleme sql()
• [SPARK-45066] [SC-141772][sql][PYTHON][connect] İşlevin repeat sütun türünü kabul etmesini sağlama n
• [SPARK-44860] [SC-141103][sql] SESSION_USER işlevi ekleme
• [SPARK-45074] [SC-141796][python][CONNECT] DataFrame.{sort, sortWithinPartitions} sütun sıralarını destekleme
• [SPARK-45047] [SC-141774][python][CONNECT] DataFrame.groupBy sıralayıcıları destekle
• [SPARK-44863] [SC-140798][ui] Spark kullanıcı arabiriminde iş parçacığı dökümünü txt olarak indirmek için düğme ekleme
• [SPARK-45026] [SC-141604][connect] spark.sql okla uyumlu olmayan veri türlerini desteklemelidir
• [SPARK-44999] [SC-141145][core] ExternalSorter çağrıldığında shouldPartition üzerindeki denetimleri azaltmak için yeniden düzenleme
• [SPARK-42304] [SC-141501][sql] Yeniden adlandır _LEGACY_ERROR_TEMP_2189GET_TABLES_BY_TYPE_UNSUPPORTED_BY_HIVE_VERSION
• [SPARK-43781] [SC-139450][sql] Aynı kaynaktan türetilen iki veri kümesini gruplandırırken IllegalStateException düzeltildi
• [SPARK-45018] [SC-141516][python][CONNECT] Python İstemcisine CalendarIntervalType Ekleme
• [SPARK-45024] [SC-141513][python][CONNECT] Oturum Oluşturma'da bazı yapılandırmaları filtreleme
• [SPARK-45017] [SC-141508][python] PySpark'a ekleme CalendarIntervalType
• [SPARK-44720] [SC-139375][connect] Veri kümesiniN AgnosticEncoder yerine Encoder kullanmasını sağlama
• [SPARK-44982] [SC-141027][connect] Spark Connect sunucu yapılandırmalarını statik olarak işaretleme
• [SPARK-44839] [SC-140900][ss][CONNECT] Kullanıcı Spark oturumlarını seri hale getirmeye çalıştığında Daha İyi Hata Günlüğü
• [SPARK-44865] [SC-140905][ss] StreamingRelationV2 destek meta veri sütunu yapma
• [SPARK-45001] [SC-141141][python][CONNECT] DataFrame.foreachPartition'i Oluştur
• [SPARK-44497] [SC-141017][webui] Görev tablosunda görev bölümü kimliğini gösterme
• [SPARK-45006] [SC-141143][ui] Zaman çizelgelerinin x ekseni için diğer kullanıcı arabirimi tarih öğelerinin aynı tarih biçimini kullanın
• [SPARK-45000] [SC-141135][python][CONNECT] DataFrame.foreach uygulama
• [SPARK-44967] [SC-141137][sql][CONNECT] TreeNodeTag için Boole kullanmadan önce birim dikkate alınmalıdır
• [SPARK-44993] [SC-141088][core] ShuffleChecksumUtils.compareChecksums yeniden kullanarak ShuffleChecksumTestHelp.compareChecksums ekleme
• [SPARK-44807] [SC-140176][connect] Scala İstemcisi'ne Dataset.metadataColumn ekleme
• [SPARK-44965] [SC-141098][python] İç işlevleri/değişkenleri gizleme pyspark.sql.functions
• [SPARK-44983] [SC-141030][sql] ikili veriyi to_char aracılığıyla biçimler için dizeye dönüştürme: hex, base64, utf-8
• [SPARK-44980] [DBRRM-462][sc-141024][PYTHON][connect] CreateDataFrame'de çalışmak için devralınan namedtuples düzeltmesi
• [SPARK-44985] [SC-141033][core] Görev temizleme iş parçacığı dökümü için stacktrace yerine toString kullanma
• [SPARK-44984] [SC-141028][python][CONNECT] DataFrame'den kaldırma _get_alias
• [SPARK-44975] [SC-141013][sql] BinaryArithmetic gereksiz geçersiz kılma işlemini kaldır
• [SPARK-44969] [SC-140957][sql] ArrayInsertArrayAppend içinde yeniden kullan
• [SPARK-44549] [SC-140714][sql] Bağıntılı skaler alt sorgularda destek penceresi işlevleri
• [SPARK-44938] [SC-140811][sql] Varsayılan değerini spark.sql.maxSinglePartitionBytes 128m olarak değiştirme
• [SPARK-44918] [SC-140816][sql][PYTHON] skaler Python/Pandas UDF'lerinde adlandırılmış bağımsız değişkenleri destekleme
• [SPARK-44966] [SC-140907][core][CONNECT] Hiç değiştirilmemiş var'yi val olarak değiştirin
• [SPARK-41471] [SC-140804][sql] Join işleminin yalnızca bir tarafı KeyGroupedPartitioning olduğunda Spark shuffle işlemini azaltma.
• [SPARK-44214] [SC-140528][core] Spark Sürücüsü Canlı Kayıt Kullanıcı Arayüzü desteği
• [SPARK-44861] [SC-140716][connect] jsonignore SparkListenerConnectOperationStarted.planRequest
• [SPARK-44776] [SC-140519][connect] SparkListenerConnectOperationFinished'e ProducedRowCount Ekleme
• [SPARK-42017] [SC-140765][python][CONNECT] df['col_name'] sütun adını doğrulamalıdır
• [SPARK-40178] [SC-140433][sql][COONECT] PySpark ve R için birleştirme ipuçlarını kolayca destekleyin
• [SPARK-44840] [SC-140593][sql] Negatif dizinler için 1 tabanlı yapma array_insert()
• [SPARK-44939] [SC-140778][r] SparkR SystemRequirements'ta Java 21 desteği
• [SPARK-44936] [SC-140770][core] Spark HybridStore bellek sınırına ulaştığında günlüğü basitleştirme
• [SPARK-44908] [SC-140712][ml][CONNECT] Çapraz doğrulayıcı foldCol param işlevselliği düzeltildi
• [SPARK-44816] [SC-140717][connect] UDF sınıfı bulunamadığında hata iletisini iyileştirme
• [SPARK-44909] [SC-140710][ml] Kullanılabilir olmadığında torç dağıtımcı günlük akışı sunucusunu başlatmayı atla
• [SPARK-44920] [SC-140707][core] TransportClientFactory.createClient() içinde awaitUninterruptibly() yerine await() kullanın
• [SPARK-44905] [SC-140703][sql] Durum bilgisi olan lastRegex, regexp_replace için değerlendirmede NullPointerException'a neden oluyor
• [SPARK-43987] [SC-139594][shuffle] finalizeShuffleMerge İşlemlerini Ayrı İş Parçacığı Havuzlarında İşlemek
• [SPARK-42768] [SC-140549][sql] Önbelleğe alınmış planı etkinleştir varsayılan olarak AQE uygula
• [SPARK-44741] [SC-139447][core] içinde regex tabanlı MetricFilter desteği StatsdSink
• [SPARK-44751] [SC-140532][sql] XML DosyaFormatı Arabirimi gerçekleme
• [SPARK-44868] [SC-140438][sql] Datetime'ı dizeye dönüştürme to_char/to_varchar
• [SPARK-44748] [SC-140504][sql] UDTF PARTITION bağımsız değişkenlerinde BY yan tümcesi için TABLE sorgu yürütme
• [SPARK-44873] [SC-140427] Hive istemcisinde iç içe sütunlar içeren alter görünümünü destekleme
• [SPARK-44876] [SC-140431][python] Spark Connect'te Arrow ile optimize edilmiş Python UDF'yi düzeltme
• [SPARK-44520] [SC-137845][sql] UNSUPPORTED_DATA_SOURCE_FOR_DIRECT_QUERY terimini UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY ile değiştirme ve AE kökünü açıklama
• [SPARK-42664] [SC-139769][connect] bloomFilter işlevi için DataFrameStatFunctions desteği
• [SPARK-43567] [SC-139227][ps] use_na_sentinel için factorize desteği
• [SPARK-44859] [SC-140254][ss] Yapılandırılmış akış belgesinde yanlış özellik adı düzeltildi
• [SPARK-44822] [SC-140182][python][SQL] Varsayılan olarak Python UDF'leri belirleyici olmayan yapma
• [SPARK-44731] [SC-139524][python][CONNECT] TimestampNTZ'nin Python Spark Connect'teki değişmez değerlerle çalışmasını sağlama
• [SPARK-44836] [SC-140180][python] Arrow Python UDTF Yeniden Düzenle
• [SPARK-44714] [SC-139238] Sahip olma koşuluna sahip sorgularla ilgili LCA çözümlemesinin kısıtlamalarının kolaylaştırılması
• [SPARK-44749] [SC-139664][sql][PYTHON] Python UDTF'de adlandırılmış bağımsız değişkenler desteği
• [SPARK-44737] [SC-139512][sql][UI] SQL Sekmesinde SparkThrowable olmayanlar için SQL sayfasında json biçimi hataları görüntülenmemelidir
• [SPARK-44665] [SC-139307][python] pandas DataFrame assertDataFrameEqual için destek ekleme
• [SPARK-44736] [SC-139622][connect] Spark Connect Scala İstemcisi'ne Dataset.explode ekleme
• [SPARK-44732] [SC-139422][sql] Yerleşik XML veri kaynağı desteği
• [SPARK-44694] [SC-139213][python][CONNECT] Etkin oturumları yeniden düzenleme ve api olarak kullanıma sunma
• [SPARK-44652] [SC-138881] Yalnızca bir df Yok olduğunda hata oluşturma
• [SPARK-44562] [SC-138824][sql] Alt Sorgu toplu olarak OptimizeOneRowRelationSubquery Ekleme
• [SPARK-44717] [SC-139319][python][PS] Yeniden örneklemede TimestampNTZ'yi Dikkate Alın
• [SPARK-42849] [SC-139365] [SQL] Oturum Değişkenleri
• [SPARK-44236] [SC-139239][sql] NO_CODEGEN olarak ayarlandığında spark.sql.codegen.factoryMode WholeStageCodegen'ı devre dışı bırakma
• [SPARK-44695] [SC-139316][python] için hata iletisini iyileştirme DataFrame.toDF
• [SPARK-44680] [SC-139234][sql] parametreler için hata iyileştirmesi DEFAULT
• [SPARK-43402] [SC-138321][sql] FileSourceScanExec, skaler alt sorgu ile veri filtresi göndermeyi destekliyor
• [SPARK-44641] [SC-139216][sql] SPJ tetiklenmediğinde bazı senaryolarda yanlış sonuç
• [SPARK-44689] [SC-139219][connect] İşlevin SparkConnectPlanner#unpackScalarScalaUDF özel durum işlemesini daha evrensel hale getirme
• [SPARK-41636] [SC-139061][sql] Belirleyici sırada koşul döndürdüğünizden emin selectFilters olun
• [SPARK-44132] [SC-139197][sql] Kod oluşturma hatasını önlemek amacıyla birleştirme sütun adlarının somutlaştırılması Stream
• [SPARK-42330] [SC-138838][sql] Hata sınıfına RULE_ID_NOT_FOUND adını atayın _LEGACY_ERROR_TEMP_2175
• [SPARK-44683] [SC-139214][ss] Günlük seviyesi RocksDB durum deposu sağlayıcısına doğru bir şekilde iletilmiyor
• [SPARK-44658] [SC-138868][core] ShuffleStatus.getMapStatus yerine döndürülmelidir NoneSome(null)
• [SPARK-44603] [SC-138353] pyspark.testing'i setup.py'ye ekle
• [SPARK-44252] [SC-137505][ss] Yeni bir hata sınıfı tanımlayın ve DFS'den yükleme durumunun başarısız olduğu durum için uygulayın
• [SPARK-29497] [DBRRM-396][sc-138477][CONNECT] UDF serileştirilemediğinde hata oluştur.
• [SPARK-44624] [DBRRM-396][sc-138900][CONNECT] İlk isteğin sunucuya ulaşmaması durumunda ExecutePlan'ı yeniden deneyin
• [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] Connect İstemci Katalizör Bağımlılığını Kaldırma
• [SPARK-44059] [SC-138833][sql] SQL için argumnts adlı daha iyi hata iletileri ekleme
• [SPARK-44620] [SC-138831][sql][PS][connect] ResolvePivot öğesinin Plan_ID_TAG öğesini korumasını sağla
• [SPARK-43838] [SC-137413][sql] Tek bir tabloda having koşuluna sahip alt sorgunun optimize edilememesi sorununu düzeltme
• [SPARK-44555] [SC-138820][sql] CheckError() kullanarak Command Suite'te Özel Durumu denetleyin ve bazı hata sınıfı adları atayın
• [SPARK-44280] [SC-138821][sql] JDBCDialect API'sinde convertJavaTimestampToTimestamp ekleme
• [SPARK-44602] [SC-138337][sql][CONNECT][ps] WidenSetOperationTypes'in Plan_ID_TAG'yi tutmasını sağla
• [SPARK-42941] [SC-138389][ss][CONNECT] Python StreamingQueryListener
• [SPARK-43838] Revert "[SC-137413][sql] Tek ta'da alt sorgu düzeltildi...
• [SPARK-44538] [SC-138178][connect][SQL] Row.jsonValue ve arkadaşlarını yeniden devreye ekleme
• [SPARK-44421] [SC-138434][spark-44423][CONNECT] Spark Connect'te yeniden bağlanabilir yürütme
• [SPARK-43838] [SC-137413][sql] Tek bir tabloda having koşuluna sahip alt sorgunun optimize edilememesi sorununu düzeltme
• [SPARK-44587] [SC-138315][sql][CONNECT] Protobuf marshaller özyineleme sınırını artırma
• [SPARK-44605] [SC-138338][core] İç ShuffleWriteProcessor API'lerini geliştirme
• [SPARK-44394] [SC-138291][connect][WEBUI] Spark Connect için Spark kullanıcı arabirimi sayfası ekleme
• [SPARK-44585] [SC-138286][mllib] MLLib RankingMetrics ndcgAk uyarı koşulu düzeltildi
• [SPARK-44198] [SC-138137][core] Günlük seviyesinin yürütücülere yayılımını destekleme
• [SPARK-44454] [SC-138071][sql][HIVE] HiveShim getTablesByType desteği geri dönüşü
• [SPARK-44425] [SC-138135][connect] Kullanıcının sağladığı sessionId değerinin bir UUID olduğunu doğrulayın
• [SPARK-43611] [SC-138051][sql][PS][bağlantı] ExtractWindowExpressions öğesini koruyun için PLAN_ID_TAG
• [SPARK-44560] [SC-138117][python][CONNECT] Ok Python UDF için testleri ve belgeleri geliştirme
• [SPARK-44482] [SC-138067][connect] Bağlantı sunucusu bağlama adresini belirtmelidir
• [SPARK-44528] [SC-138047][connect] Connect dataframe için hasattr() düzgün kullanımını destekler
• [SPARK-44525] [SC-138043][sql] Invoke yöntemi bulunamadığında hata iletisini iyileştirme
• [SPARK-44355] [SC-137878][sql] WithCTE ile komut sorgularına taşıma

Databricks ODBC/JDBC sürücü desteği

Databricks, son 2 yılda yayımlanan ODBC/JDBC sürücülerini destekler. Lütfen son yayınlanan sürücüleri indirin ve yükseltin (ODBC'yi indirin, JDBC'yi indirin).

Bkz . Databricks Runtime 14.1 bakım güncelleştirmeleri.

Sistem ortamı

• İşletim Sistemi: Ubuntu 22.04.3 LTS
• Java: Zulu 8.72.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Gölü: 3.0.0

Yüklü Python kitaplıkları

Yüklü R kitaplıkları

R kütüphaneleri, 2023-02-10'da Posit Paket Yöneticisi CRAN snapshot'ından yüklendi.

Yüklü Java ve Scala kitaplıkları (Scala 2.12 küme sürümü)