Databricks Runtime 15.3 (EoS)

Aşağıdaki sürüm notları, Apache Spark 3.5.0 tarafından desteklenen Databricks Runtime 15.3 hakkında bilgi sağlar.

Databricks bu sürümü Haziran 2024'te yayımladı.

Yeni özellikler ve geliştirmeler

PySpark DataSources artık akış okuma ve yazmayı destekliyor

Özel veri kaynaklarından okumayı ve özel veri havuzlarına yazmayı etkinleştiren PySpark DataSources artık akış okuma ve yazma desteğine sahip. Bkz. PySpark özel veri kaynakları.

Bırak özelliğiyle sütun eşlemeyi devre dışı bırak

Artık Delta tablolarında sütun eşlemesini devre dışı bırakmak ve tablo protokollerini düşürmek için DROP FEATURE kullanabilirsiniz. Bkz. Uyumluluğu koruma.

Genel Önizleme'de değişken türü söz dizimi ve işlevleri

Tür olarak VARIANT yarı yapılandırılmış verilerle çalışmak için yerel Apache Spark desteği artık Spark DataFrames ve SQL'de kullanılabilir. Bkz. Değişken verileri sorgulama.

Genel Önizlemede Delta Lake için değişken türü desteği

Delta Lake destekli tablolarda yarı yapılandırılmış verileri depolamak için artık VARIANT kullanabilirsiniz. Bkz. Apache Iceberg ve Delta Lake için varyant türü desteği.

Görünümlerde farklı şema evrimi modları için destek

CREATE VIEW ve ALTER VIEW artık bir şema bağlama modu ayarlamanıza olanak tanır ve görünümlerin temel nesnelerdeki şema değişikliklerini işleme şeklini geliştirir. Bu özellik, görünümlerin temel alınan nesnelerdeki şema değişikliklerini tolere etmelerini veya uyarlamalarını sağlar. Nesne tanımlarında yapılan değişikliklerden kaynaklanan sorgu şemasındaki değişiklikleri giderir.

Spark Connect Scala istemcisine eklenen yöntemler için observe() destek

Spark Connect Scala istemcisi artık yöntemleri destekliyor Dataset.observe() . Dataset veya ds.observe("name", metrics...) yöntemlerini kullanarak bir ds.observe(observationObject, metrics...) nesnesi üzerinde gözlemlemek için metrikler tanımlamanıza olanak tanır.

Otomatik Yükleyici için geliştirilmiş yayın yeniden başlatma gecikmesi

Bu sürüm, Otomatik Yükleyici için akış yeniden başlatma gecikme süresini geliştiren bir değişiklik içerir. Bu geliştirme, RocksDB durum deposu tarafından durum yüklemesini zaman uyumsuz hale getirerek uygulanır. Bu değişiklikle, daha önce alınmış çok sayıda dosya içeren akışlar gibi büyük durumlara sahip akışlar için başlangıç zamanlarında bir gelişme görmeniz gerekir.

DataFrame'i bir veri çerçevesi olarak döndürme pyarrow.Table

Bir DataFrame'in doğrudan bir Apache Arrow pyarrow.Table nesnesine yazılmasını desteklemek için bu sürümde DataFrame.toArrow() işlevi bulunmaktadır. PySpark'ta Apache Arrow kullanımı hakkında daha fazla bilgi edinmek için bkz. Apache Arrow in PySpark.

Bazı pencere işlevleri için performans iyileştirmesi

Bu sürüm, bazı Spark pencere işlevlerinin, özellikle de ORDER BY yan tümcesi veya window_frame parametresi içermeyen işlevlerin performansını geliştiren bir değişiklik içerir. Bu gibi durumlarda, sistem sorguyu bir toplama işlevi kullanarak çalıştırmak için yeniden yazabilir. Bu değişiklik, kısmi toplama kullanarak ve çalışan pencere işlevlerinin yükünü önleyerek sorgunun daha hızlı çalışmasını sağlar. Spark yapılandırma parametresi spark.databricks.optimizer.replaceWindowsWithAggregates.enabled bu iyileştirmeyi denetler ve varsayılan olarak true olarak ayarlanır. Bu iyileştirmeyi kapatmak için spark.databricks.optimizer.replaceWindowsWithAggregates.enabledfalseolarak ayarlayın.

try_mod işlevine destek eklendi

Bu sürüm, PySpark try_mod() işlevi için destek ekler. Bu işlev, iki sayısal değerin bölünmesinden kalan tamsayının ANSI SQL uyumlu hesaplamasını destekler. Bölen argümanı 0 ise, try_mod() fonksiyonu özel durum fırlatmadan null döndürür. Bölen bağımsız değişkeni 0 ise ve ANSI SQL etkinse özel durum oluşturan try_mod() veya mod yerine % işlevini kullanabilirsiniz.

list_secrets() için isteğe bağlı kapsam parametresi desteği

Bu sürüm, list_secrets() tablo işlevinin sonuçlarını belirli bir kapsamla sınırlamanıza olanak tanır.

Hata düzeltmeleri

WriteIntoDeltaCommand Spark kullanıcı arabirimindeki ölçümler artık doğru görüntüleniyor

Bu sürüm, düğüm için Spark kullanıcı arabiriminin Execute WriteIntoDeltaCommand SQL sekmesinde görüntülenen ölçümlere yönelik bir düzeltme içerir. Daha önce bu düğüm için gösterilen ölçümlerin tümü sıfırdı.

Pandas API'sindeki groupby() işlevi, as_index=False bağımsız değişkenini yoksaydı

Bu sürüm, Spark üzerinde Pandas API'sindeki işlevle groupby() ilgili bir sorun için bir düzeltme içerir. Bu düzeltmeden önce, toplama sütunlarının yeniden etiketlenmesine ve groupby() bağımsız değişkenine sahip bir as_index=False örneği, sonuçta elde edilen DataFrame'de grup anahtarlarını içermezdi.

Diğer fonksiyonların çıktısını referans alan birden çok pencere fonksiyonu ile ayrıştırma hatası.

Bu sürüm, bir Spark sorgusunun ardışık birden çok pencere işlevine sahip olduğu ve pencere işlevlerinin diğer pencere işlevlerinden çıkışa başvurduğu bir sorunu düzeltir. Nadir durumlarda, sistem başvurulardan birini kaybedebilir ve bu da sorgunun değerlendirilmesinde hataya neden olabilir. Bu düzeltme, sorgu değerlendirmesini sağlamak için bu başvuruları projelendirmektedir. Bu değişiklik, varsayılan olarak spark.databricks.optimizer.collapseWindows.projectReferences olarak ayarlanmış trueSpark yapılandırma parametresi tarafından denetlenır. Bu değişikliği kapatmak için spark.databricks.optimizer.collapseWindows.projectReferencesfalseolarak ayarlayın.

Kitaplık yükseltmeleri

• Yükseltilmiş Python kitaplıkları:
  • 3.13.1 ile 3.13.4 arasında dosya kilidi
• Güncellenen R kitaplıkları:
• Yükseltilmiş Java kitaplıkları:
  • org.rocksdb.rocksdbjni 8.3.2 ile 8.11.4 arasında

Apache Spark

Databricks Runtime 15.3, Apache Spark 3.5.0'ı içerir. Bu sürüm, Databricks Runtime 15.2 (EoS)dahil edilen tüm Spark düzeltmeleri ve iyileştirmelerinin yanı sıra Spark'ta yapılan aşağıdaki ek hata düzeltmelerini ve iyileştirmeleri içerir:

• [SPARK-48211] [DBRRM-1041][15.x][15.3] “[SC-165552][sql] DB2: SMALLINT'i Sho olarak oku” işlemini geri al.
• [SPARK-47904] [DBRRM-1040][behave-33][SC-163409] SPARK-47904'i geri döndürme: enableStableIdentifiersForUnionType kullanırken Avro şemasında büyük/küçük harf koruma
• [SPARK-48288] [SC-166141] Bağlayıcı atama ifadesi için kaynak veri türü ekleme
• [SPARK-48175] [SC-166341][sql][PYTHON] Sıralama bilgilerini SER/DE için türde değil, meta verilerde depolayın
• [SPARK-48172] [SC-166078][sql] JDBCDialects'teki kaçış sorunlarını düzeltme
• [SPARK-48186] [SC-165544][sql] AbstractMapType için destek ekleme
• [SPARK-48031] [SC-166523] SCHEMA BINDING'e eski sistem görünümleri
• [SPARK-48369] [SC-166566][sql][PYTHON][connect] İşlev ekleme timestamp_add
• [SPARK-48330] [SC-166458][ss][PYTHON] Büyük tetikleyici aralığı için Python akış veri kaynağı zaman aşımı sorununu düzeltin
• [SPARK-48369] Revert "[SC-166494][sql][PYTHON][connect] Add function timestamp_add"
• [SPARK-48336] [SC-166495][ps][CONNECT] Spark Connect'te uygulama ps.sql
• [SPARK-48369] [SC-166494][sql][PYTHON][connect] İşlev ekleme timestamp_add
• [SPARK-47354] [SC-165546][sql] Değişken ifadeler için harmanlama desteği ekleme
• [SPARK-48161] [SC-165325][sql] Geri döndürülen PR düzeltildi - JSON ifadeleri için harmanlama desteği eklendi
• [SPARK-48031] [SC-166391] ViewSchemaMode yapılandırmasını ayrıştırın, SHOW CREATE TABLE desteği ekleyin
• [SPARK-48268] [SC-166217][core] SparkContext.setCheckpointDir için yapılandırma ekleme
• [SPARK-48312] [ES-1076198][sql] Alias.removeNonInheritableMetadata performansını geliştirme
• [SPARK-48294] [SC-166205][sql] NestedTypeMissingElementTypeError içinde küçük harf işleme
• [SPARK-47254] [SC-158847][sql] _LEGACY_ERROR_TEMP_325 hata sınıflarına ad atama[1-9]
• [SPARK-47255] [SC-158749][sql] _LEGACY_ERROR_TEMP_323[6-7] ve _LEGACY_ERROR_TEMP_324[7-9] hata sınıflarına ad atama
• [SPARK-48310] [SC-166239][python][CONNECT] Önbelleğe alınan özellikler kopya döndürmelidir
• [SPARK-48308] [SC-166152][core] FileSourceStrategy'de bölüm sütunları olmadan veri şeması almayı birleştirme
• [SPARK-48301] [SC-166143][sql] CREATE_FUNC_WITH_IF_NOT_EXISTS_AND_REPLACE'yi CREATE_ROUTINE_WITH_IF_NOT_EXISTS_AND_REPLACE olarak yeniden adlandır
• [SPARK-48287] [SC-166139][ps][CONNECT] Yerleşik timestamp_diff yöntemi uygulama
• [SPARK-47607] [SC-166129] Yapılandırılmış kayıt çerçevesi için belgeleme ekleme
• [SPARK-48297] [SC-166136][sql] Char/varchar ile regresyon TRANSFORM yan tümcesini düzeltme
• [SPARK-47045] [SC-156808][sql] şununla değiştir IllegalArgumentExceptionSparkIllegalArgumentException : sql/api
• [SPARK-46991] [SC-156399][sql] IllegalArgumentException içinde SparkIllegalArgumentException yerine catalyst kullan
• [SPARK-48031] [SC-165805][sql] Şema evrimini destekleme
• [SPARK-48276] [SC-166116][python][CONNECT] için eksik __repr__ yöntemi ekleme SQLExpression
• [SPARK-48278] [SC-166071][python][CONNECT] Öğesinin dize gösterimini daraltma Cast
• [SPARK-48272] [SC-166069][sql][PYTHON][connect] İşlev ekleme timestamp_diff
• [SPARK-47798] [SC-162492][sql] Ondalık değerlerin okuma hataları için hata iletisini zenginleştirin
• [SPARK-47158] [SC-158078][sql] sqlState'ye doğru adı ve _LEGACY_ERROR_TEMP_(2134|2231) atayın
• [SPARK-48218] [SC-166082][core] TransportClientFactory.createClient NPE FetchFailedException'a neden olabilir
• [SPARK-48277] [SC-166066] ErrorClassesJsonReader.getErrorMessage için hata iletisini iyileştirme
• [SPARK-47545] [SC-165444][connect] Scala istemcisi için veri kümesi observe desteği
• [SPARK-48954] [SC-171672][sql] İşlev ekleme try_mod
• [SPARK-43258] [SC-158151][sql] _LEGACY_ERROR_TEMP_202[3,5] hata isimleri ata
• [SPARK-48267] [SC-165903][ss] SPARK-47305 ile regresyon e2e testi
• [SPARK-48263] [SC-165925] UTF8_BINARY olmayan dizeler için harmanlama işlevi desteği
• [SPARK-48260] [SC-165883][sql] Bir ParquetIOSuite testinde çıkış işleme koordinasyonu devre dışı bırak
• [SPARK-47834] [SC-165645][sql][CONNECT] kullanım dışı olan işlevleri @deprecated ile SQLImplicits olarak işaretle
• [SPARK-48011] [SC-164061][core] Yeni dize örnekleri oluşturmaktan kaçınmak için LogKey adını değer olarak depolayın
• [SPARK-48074] [SC-164647][core] JSON günlüklerinin okunabilirliğini geliştirme
• [SPARK-44953] [SC-165866][core] Karışık izleme başka bir DA destekli mekanizmayla birlikte etkinleştirildiğinde uyarıyı günlüğe kaydetme
• [SPARK-48266] [SC-165897][connect] Paket nesnesini org.apache.spark.sql.connect.dsl test dizinine taşıma
• [SPARK-47847] [SC-165651][core] Kullanımdan kaldırma spark.network.remoteReadNioBufferConversion
• [SPARK-48171] [SC-165178][core] Kullanım dışı bırakılan oluşturucuların kullanımını temizleme o.rocksdb.Logger
• [SPARK-48235] [SC-165669][sql] getBroadcastBuildSide ve getShuffleHashJoinBuildSide için tüm bağımsız değişkenler yerine doğrudan join işlemini geçirmek
• [SPARK-48224] [SC-165648][sql] Eşleme anahtarlarının değişken türde olmasını yasakla
• [SPARK-48248] [SC-165791][python] InferArrayTypeFromFirstElement'in eski ayarını dikkate alacak şekilde iç içe dizilerin işlenmesi düzeltildi.
• [SPARK-47409] [SC-165568][sql] StringTrim işlev/ifade türü için harmanlama desteği eklendi (UTF8_BINARY ve LCASE için)
• [SPARK-48143] [ES-1095638][sql] UnivocityParser ile FailureSafeParser arasındaki denetim akışı için basit özel durumlar kullanma
• [SPARK-48146] [SC-165668][sql] İfade alt onayı ile içindeki toplama işlevini düzeltme
• [SPARK-48161] Revert "[SC-165325][sql] JSON ifadeleri için harmanlama desteği ekleme"
• [SPARK-47963] [CORE] Dış Spark ekosisteminin yapılandırılmış günlük mekanizmalarını kullanabilmesini sağlama
• [SPARK-48180] [SC-165632][sql] TABLE arg ile UDTF çağrısında, birden fazla PARTITION/ORDER BY ifadesi için parantezler unutulduğunda hata mesajını iyileştirme
• [SPARK-48002] [SC-164132][python][SS] PySpark StreamingQueryListener'da gözlemlenen ölçümler için test ekleme
• [SPARK-47421] [SC-165548][sql] URL ifadeleri için harmanlama desteği ekleme
• [SPARK-48161] [SC-165325][sql] JSON ifadeleri için harmanlama desteği ekleme
• [SPARK-47359] [SC-164328][sql] Harmanlanmış dizelerle çalışmak için TRANSLATE işlevini destekleme
• [SPARK-47365] [SC-165643][python] PySpark'a ToArrow() DataFrame yöntemi ekleme
• [SPARK-48228] [SC-165649][python][CONNECT] ApplyInXXX'te eksik işlev doğrulamasını uygulama
• [SPARK-47986] [SC-165549][connect][PYTHON] Sunucu tarafından varsayılan oturum kapatıldığında yeni oturum oluşturulamıyor
• [SPARK-47963] "[CORE] Dış Spark ekosisteminin yapılandırılmış günlük mekanizmalarını kullanabilmesini sağlama işleminden geri dön"
• [SPARK-47963] [CORE] Dış Spark ekosisteminin yapılandırılmış günlük mekanizmalarını kullanabilmesini sağlama
• [SPARK-48208] [SC-165547][ss] Sınırlanmış bellek kullanımı etkinse RocksDB'den bellek kullanım ölçümleri sağlamayı atlayın
• [SPARK-47566] [SC-164314][sql] Harmanlanmış dizelerle çalışmak için SubstringIndex işlevini destekleme
• [SPARK-47589] [SC-162127][sql]Hive-Thriftserver: Değişkenlerle logError fonksiyonunu yapılandırılmış kayıt çerçevesine taşıma
• [SPARK-48205] [SC-165501][python] Python veri kaynakları için private[sql] değiştiricisini kaldırın
• [SPARK-48173] [SC-165181][sql] CheckAnalysis sorgu planının tamamını görmelidir
• [SPARK-48197] [SC-165520][sql] Geçersiz lambda işlevi için onay hatasından kaçının
• [SPARK-47318] [SC-162573][core] Standart KEX uygulamalarını izlemek için AuthEngine anahtar türetmesine bir HKDF turu ekler
• [SPARK-48184] [SC-165335][python][CONNECT] Her zaman Dataframe.sample seed'ini İstemci tarafında ayarla
• [SPARK-48128] [SC-165004][sql] BitwiseCount / bit_count ifadesi için boole türü girişleri için kodgen söz dizimi hatasını düzeltin
• [SPARK-48147] [SC-165144][ss][CONNECT] Yerel Spark oturumu silindiğinde istemci tarafı dinleyicilerini kaldırma
• [SPARK-48045] [SC-165299][python] Pandas API'de birden fazla toplama ve yeniden etiketleme ile "groupby" as_index=False ifadesini göz ardı ediyor.
• [SPARK-48191] [SC-165323][sql] Dize kodlama ve kod çözme için UTF-32 desteği
• [SPARK-45352] [SC-137627][sql] Katlanabilir pencere bölümlerini kaldırma
• [SPARK-47297] [SC-165179][sql] Biçim ifadeleri için harmanlama desteği ekleme
• [SPARK-47267] [SC-165170][sql] Karma ifadeler için harmanlama desteği ekleme
• [SPARK-47965] [SC-163822][core] TypedConfigBuilder ve OptionalConfigEntry'de orNull'tan kaçının
• [SPARK-48166] [SQL] VariantExpressionEvalUtils'te kullanıcıya yönelik hata olarak BadRecordException kullanmaktan kaçının
• [SPARK-48105] [SC-165132][ss] Durum deposu kaldırma ve anlık görüntü oluşturma arasındaki yarış durumunu düzeltme
• [SPARK-47922] [SC-163997][sql] try_parse_json ifadesini uygulama
• [SPARK-47719] [SC-161909][sql] spark.sql.legacy.timeParse yöntemini değiştir…
• [SPARK-48035] [SC-165136][sql] try_add/try_multiply'in toplama/çarpma ile anlamsal olarak eşit olma sorununu düzeltme
• [SPARK-48107] [SC-164878][python] Testleri Python dağıtımının dışında tutma
• [SPARK-46894] [SC-164447][python] PySpark hata koşullarını tek başına JSON dosyasına taşıma
• [SPARK-47583] [SC-163825][core] SQL core: Değişkenlerle logError'ı yapılandırılmış günlük çerçevesine geçirme
• [SPARK-48064] "[SC-164697][sql] Rutin ilgili hata sınıfları için hata iletilerini güncellemeyi geri al"
• [SPARK-48048] [SC-164846][connect][SS] Scala için istemci tarafı dinleyici desteği eklendi
• [SPARK-48064] [SC-164697][sql] Yordamla ilgili hata sınıfları için hata iletilerini güncelleştirme
• [SPARK-48056] [SC-164715][connect][PYTHON] SESSION_NOT_FOUND hatası oluşursa ve kısmi yanıt alınmazsa planı yeniden yürüt
• [SPARK-48124] [SC-165009][core] Connect-Repl için yapılandırılmış günlüğü varsayılan olarak devre dışı bırakma
• [SPARK-47922] Revert "[SC-163997][sql] try_parse_json ifadesini uygulama"
• [SPARK-48065] [SC-164817][sql] SPJ: allowJoinKeysSubsetOfPartitionKeys çok katı
• [SPARK-48114] [SC-164956][core] Gereksiz çalışmayı önlemek için şablon düzenli ifadeleri önceden derleştirin.
• [SPARK-48067] [SC-164773][sql] Değişken varsayılan sütunlarını düzeltme
• [SPARK-47922] [SC-163997][sql] try_parse_json ifadesini uygulama
• [SPARK-48075] [SC-164709] [SS] PySpark avro işlevleri için tür denetimi ekleme
• [SPARK-47793] [SC-164324][ss][PYTHON] Python akış veri kaynağı için SimpleDataSourceStreamReader uygulama
• [SPARK-48081] [SC-164719] Bağımsız değişken katlanamaz veya yanlış türde olduğunda NTile.checkInputDataTypes() içinde ClassCastException düzeltmesi
• [SPARK-48102] [SC-164853][ss] Akış sorgusu ilerleme durumunu bildirirken kaynak/havuz ölçümlerini alma süresini izleme
• [SPARK-47671] [SC-164854][core] log4j2.properties.template dosyasında yapılandırılmış günlüğü etkinleştirme ve belgeleri güncelleştirme
• [SPARK-47904] [SC-163409][sql] EnableStableIdentifiersForUnionType özelliği kullanılırken Avro şemasında büyük/küçük harfleri koruma
• [SPARK-48058] [SC-164695][spark-43727][PYTHON][connect] UserDefinedFunction.returnType DDL dizesini ayrıştırma
• [SPARK-46922] [SC-156102][core][SQL] Çalışma zamanı kullanıcıyla ilgili hataları sarmalamayın
• [SPARK-48047] [SC-164576][sql] Boş TreeNode etiketlerinin bellek baskısını azaltma
• [SPARK-47934] [SC-164648] [CORE] URL yeniden yönlendirmelerinde sondaki eğik çizgilerin korunduğundan emin olun
• [SPARK-47921] [SC-163826][connect] ExecuteHolder'da ExecuteJobTag oluşturma işlemini düzeltme
• [SPARK-48014] [SC-164150][sql] EvaluatePython'daki makeFromJava hatasını kullanıcıya yönelik hata olarak değiştirme
• [SPARK-47903] [SC-163424][python] PySpark Variant kitaplığında kalan skaler türler için destek ekleme
• [SPARK-48068] [SC-164579][python] mypy parametresi olmalıdır --python-executable
• [SPARK-47846] [SC-163074][sql] from_json ifadesinde Değişken türü desteği eklendi
• [SPARK-48050] [SC-164322][ss] Sorgu başlangıcında mantıksal planı kaydetme/loglama
• [SPARK-47810] [SC-163076][sql] Birleştirme koşulunda eşdeğer ifadeyi <=> olarak değiştirme
• [SPARK-47741] [SC-164290] Ayrıştırıcıda yığın taşması işleme eklendi
• [SPARK-48053] [SC-164309][python][CONNECT] SparkSession.createDataFrame desteklenmeyen seçenekler için uyarmalıdır
• [SPARK-47939] [SC-164171][sql] ParameterizedQuery'yi ExplainCommand ve DescribeQueryCommand içinde taşımak için yeni bir Çözümleyici kuralı uygulama
• [SPARK-48063] [SC-164432][core] Varsayılan olarak etkinleştir spark.stage.ignoreDecommissionFetchFailure
• [SPARK-48016] [SC-164280][sql] Ondalıklar olduğunda try_divide işlevindeki bir hatayı düzeltme
• [SPARK-48033] [SC-164291][sql] Varsayılan sütunlarda kullanılan ifadeleri düzeltme RuntimeReplaceable
• [SPARK-48010] [SC-164051][sql][ES-1109148] resolveExpression'da conf.resolver'a yinelenen çağrılardan kaçının
• [SPARK-48003] [SC-164323][sql] Hll taslak toplaması için harmanlama desteği ekleme
• [SPARK-47994] [SC-164175][sql] SQLServer'da CASE WHEN sütun filtresi aşağı yönde itildiğinde ortaya çıkan hatayı düzeltme
• [SPARK-47984] [SC-163837][ml][SQL] MetricsAggregate/V2Aggregator#serialize/deserialize'i çağrı SparkSerDeUtils#serialize/deserialize olarak değiştir
• [SPARK-48042] [SC-164202][sql] Yöntem düzeyinde kopya oluşturmak yerine sınıf düzeyinde saat dilimiyle zaman damgası biçimlendirici kullanma
• [SPARK-47596] [SPARK-47600][SPARK-47604][SPARK-47804] Yapılandırılmış günlük geçişleri
• [SPARK-47594] [SPARK-47590][SPARK-47588][SPARK-47584] Yapılandırılmış günlük geçişleri
• [SPARK-47567] [SC-164172][sql] Harmanlanmış dizelerle çalışmak için LOCATE işlevini destekleme
• [SPARK-47764] [SC-163820][core][SQL] ShuffleCleanupMode üzerine shuffle bağımlılıklarını temizleme
• [SPARK-48039] [SC-164174][python][CONNECT] için hata sınıfını güncelleştirme group.apply
• [SPARK-47414] [SC-163831][sql] Regexp ifadeleri için küçük harf harmanlama desteği
• [SPARK-47418] [SC-163818][sql] Unicode farkındalığına sahip küçük harf contains, startsWith ve endsWith için el yapımı uygulamalar ekleme ve UTF8_BINARY_LCASE'i optimize etme
• [SPARK-47580] [SC-163834][sql] SQL katalizör: hata günlüklerindeki adlandırılmamış değişkenleri ortadan kaldırma
• [SPARK-47351] [SC-164008][sql] StringToMap ve Maske dizesi ifadeleri için harmanlama desteği ekleme
• [SPARK-47292] [SC-164151][ss] safeMapToJValue null yazılan değerleri dikkate almalıdır
• [SPARK-47476] [SC-164014][sql] Harmanlanmış dizelerle çalışmak için DEĞİşTİr işlevini destekleme
• [SPARK-47408] [SC-164104][sql] StringType kullanan mathExpressions düzeltildi
• [SPARK-47350] [SC-164006][sql] SplitPart dize ifadesi için harmanlama desteği ekleme
• [SPARK-47692] [SC-163819][sql] Örtük atamada varsayılan StringType anlamını düzeltme
• [SPARK-47094] [SC-161957][sql] SPJ: Eşit olmayan demet sayısını dinamik olarak yeniden dengeleme
• [SPARK-48001] [SC-164000][core] Kullanılmayan private implicit def arrayToArrayWritable kaldırma SparkContext
• [SPARK-47986] [SC-163999][connect][PYTHON] Sunucu tarafından varsayılan oturum kapatıldığında yeni oturum oluşturulamıyor
• [SPARK-48019] [SC-164121] ColumnVector/ColumnarArray içindeki yanlış davranışı sözlük ve null değerlerle düzeltme
• [SPARK-47743] [SPARK-47592][spark-47589][SPARK-47581][spark-47586][SPARK-47593][spark-47595][SPARK-47587][spark-47603] Yapılandırılmış günlük geçişleri
• [SPARK-47999] [SC-163998][ss] HDFS destekli durum deposu sağlayıcısında, anlık görüntü oluşturma ve durum önbellek haritasına giriş ekleme veya kaldırma işlemleri ile ilgili günlüğe kaydetmeyi iyileştirme.
• [SPARK-47417] [SC-162872][sql] Harmanlama desteği: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Cümleler
• [SPARK-47712] [SC-161871][connect] Bağlantı eklentilerinin Veri Kümeleri oluşturmasına ve işlemesine izin ver
• [SPARK-47411] [SC-163351][sql] Harmanlanmış dizelerle çalışmak için StringInstr & FindInSet işlevlerini destekleme
• [SPARK-47360] [SC-163014][sql] Harmanlama desteği: Katman, FormatString, Uzunluk, BitLength, OctetLength, SoundEx, Luhncheck
• [SPARK-47413] [SC-163323][sql] - derlemeler için substr/left/right desteği ekleme
• [SPARK-47983] [SC-163835][sql] spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabled'i dahili hale getirin
• [SPARK-47964] [SC-163816][python][CONNECT] pyspark-connect'te SQLContext ve HiveContext'i gizleme
• [SPARK-47985] [SC-163841][python] ile işlevleri basitleştirme lit
• [SPARK-47633] [SC-163453][sql] Daha tutarlı kurallı hale getirme için sağ plan çıkışını LateralJoin#allAttributes ekleme
• [SPARK-47909] "[PYTHON][connect] Üst DataFrame sınıfı f...
• [SPARK-47767] [SC-163096][sql] TakeOrderedAndProjectExec içinde uzaklık değerini göster
• [SPARK-47822] [SC-162968][sql] Hash İfadelerin Değişken Veri Türünü hashlemesini yasakla
• [SPARK-47490] [SC-160494][ss] Kullanımdan kaldırma uyarısını önlemek için RocksDB Günlükçü oluşturucusu kullanımını düzeltme
• [SPARK-47417] “[SC-162872][sql] Karma desteği: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences” geri alındı.
• [SPARK-47352] [SC-163460][sql] Upper, Lower, InitCap sıralama farkındalığı düzeltmesi
• [SPARK-47909] [PYTHON][connect] Spark Connect ve Spark Classic için üst DataFrame sınıfı
• [SPARK-47417] [SC-162872][sql] Harmanlama desteği: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Cümleler

Databricks ODBC/JDBC sürücü desteği

Databricks, son 2 yılda yayımlanan ODBC/JDBC sürücülerini destekler. Lütfen son yayınlanan sürücüleri indirin ve yükseltin (ODBC'yi indirin, JDBC'yi indirin).

Bkz . Databricks Runtime 15.3 bakım güncelleştirmeleri.

Sistem ortamı

• İşletim Sistemi: Ubuntu 22.04.4 LTS
• Java: Zulu 8.78.0.19-CA-linux64
• Scala: 2.12.18
• Python: 3.11.0
• R: 4.3.2
• Delta Gölü: 3.2.0

Yüklü Python kitaplıkları

Yüklü R kitaplıkları

R kitaplıkları Posit Paket Yöneticisi CRAN anlık görüntüsünden yüklenir.

Yüklü Java ve Scala kitaplıkları (Scala 2.12 küme sürümü)