Databricks Runtime 14.2 (EoS)

Aşağıdaki sürüm notları, Apache Spark 3.5.0 tarafından desteklenen Databricks Runtime 14.2 hakkında bilgi sağlar.

Databricks bu sürümü Kasım 2023'te yayımladı.

Yeni özellikler ve geliştirmeler

• CACHE SELECT artık yoksayılıyor
• Geliştirilmiş önbelleğe alma davranışı
• DML komutlarında bozuk dosya işleme düzeltildi
• Paylaşılan kümelerde protobuf ve Avro ile ilgili işlevler için Şema Kayıt Defteri'ni destekleme
• foreachBatch ve StreamingListener destek
• Satır düzeyi eşzamanlılık genel kullanıma sunulmuş ve varsayılan olarak etkindir
• Delta Paylaşımı: Alıcılar, silme vektörleriyle paylaşılan tablolarda toplu iş, CDF ve akış sorguları gerçekleştirebilir (Genel Önizleme)
• Unity Kataloğu dış tabloları için sığ kopya (Genel Önizleme)
• Yeni disk önbelleğe alma atama algoritması
• from_avro şema kayıt defteri bağlayıcısı ile şema evrimi desteği sağlar
• Daha hızlı çok iş parçacıklı istatistik koleksiyonu
• DeltaSource'ta Delta dosyalarında aşağı gönderme filtreleri
• Paylaşılan kümelerde Scala skaler kullanıcı tanımlı işlevler desteği (Genel Önizleme)

CACHE SELECT artık yoksayılıyor

SQL komutu CACHE SELECT artık daha gelişmiş bir önbelleğe alma algoritması lehine yoksayılıyor. Daha fazla bilgi için Azure Databricks'te önbelleğe almayla performansı optimize etme.

Geliştirilmiş önbelleğe alma davranışı

Spark zamanlayıcı tarafından diskCache yerleştirme artık daha hızlı bölüm ataması, küme otomatik ölçeklendirmesi sırasında daha iyi dengeleme ve daha tutarlı sorgu yürütme özelliğine sahip.

DML komutlarında bozuk dosya işleme düzeltildi

DML komutları DELETE, UPDATE, ve MERGE INTO artık okuma seçeneklerine ignoreCorruptFiles ve ignoreMissingFiles saygı göstermez. Tabloda okunamayan bir dosyayla karşılaşıldığında, bu seçenekler belirtilmiş olsa bile bu komutlar artık başarısız olur.

Paylaşılan kümelerde protobuf ve Avro ile ilgili işlevler için Şema Kayıt Defteri'ni destekleme

Artık paylaşılan kümelerde Schema Registry ile from_avro, to_avro, from_protobuf ve to_protobuf Python işlevlerini kullanabilirsiniz.

foreachBatch ve StreamingListener destek

Artık foreachBatch() ve StreamingListener API'lerini, paylaşılan kümelerde Yapılandırılmış Akış ile kullanabilirsiniz. Bkz. Rastgele veri havuzlarına yazmak için foreachBatch kullanma ve Azure Databricks üzerinde Yapılandırılmış Akış sorgularını izleme.

Satır düzeyi eşzamanlılık Genel Kullanılabilir ve varsayılan olarak açıktır

Satır düzeyi eşzamanlılık, satır düzeyindeki değişiklikleri algılayarak eşzamanlı yazma işlemleri arasındaki çakışmaları azaltır. Satır düzeyi eşzamanlılık yalnızca, sıvı kümeleme içeren tabloları içeren bölümleme olmayan tablolarda desteklenir. Silme vektörleri etkinleştirilmiş Delta tablolarında satır düzeyi eşzamanlılık varsayılan olarak etkindir. Bkz. Satır düzeyi eşzamanlılık.

Delta Paylaşımı: Alıcılar, silme vektörleriyle paylaşılan tablolarda toplu iş, CDF ve akış sorguları gerçekleştirebilir (Genel Önizleme)

Delta Sharing alıcıları artık silme vektörleri kullanan paylaşılan tablolarda toplu iş, CDF ve akış sorguları gerçekleştirebilir. Databricks Runtime 14.1'de yalnızca toplu sorgular gerçekleştirebilirler. Bir paylaşıma silme vektörleri veya sütun eşlemesi olan tablolar ekleme hakkında bilgi için bkz: Add tables with deletion vectors or column mapping to a share, Silme vektörleri veya sütun eşlemesi etkin tabloları okuma ve Silme vektörleri veya sütun eşlemesi etkinleştirilmiş tabloları okuma.

Unity Kataloğu dış tabloları için sığ kopya (Genel Önizleme)

Artık Unity Kataloğu dış tablolarında sığ kopya kullanabilirsiniz. Bkz Unity Kataloğu tabloları için yüzeysel klon.

Yeni disk önbelleğe alma atama algoritması

Spark zamanlayıcı artık yeni bir disk önbelleğe alma algoritması kullanıyor. Algoritma, hem başlangıçta hem de küme ölçeklendirme olaylarından sonra daha hızlı atama ile düğümler arasında disk kullanımını ve bölüm atamasını geliştirir. Daha yapışkan önbellek ataması çalıştırmalar arasında tutarlılığı artırır ve yeniden dengeleme işlemleri sırasında taşınan verileri azaltır.

from_avro şema kayıt defteri bağlayıcısı, şema evrimini destekler.

Artık değişen kayıtlar algılandığında işlem hatlarınızın yeniden başlatılmasını etkinleştirebilirsiniz. Daha önce, from_avro bağlayıcıyla şema evrimi gerçekleştiğinde, yeni sütunlar null dönerdi. Bkz Akış Avro verilerini okuma ve yazma.

Daha hızlı çok iş parçacıklı istatistik koleksiyonu

Apache Iceberg ve Parquet tablolarında çalıştırıldığında veya kopyalandığında, küçük kümelerde istatistik toplama hızı 10 kata kadar artar. Bkz Delta Lake'e Dönüştür ve Parquet ve Iceberg Tablolarını Kopyala.

DeltaSource'ta Delta dosyalarında aşağı gönderme filtreleri

Daha iyi kullanım için Delta tablolarındaki bölüm filtreleri akış sorguları artık hız sınırlamadan önce Delta'ya gönderiliyor.

Paylaşılan kümelerde Scala skaler kullanıcı tanımlı işlevler desteği (Genel Önizleme)

Artık Paylaşılan erişim moduyla yapılandırılmış Unity Kataloğu özellikli kümelerde Scala skaler kullanıcı tanımlı işlevlerini kullanabilirsiniz. Bkz . Kullanıcı tanımlı skaler işlevler - Scala.

Kitaplık yükseltmeleri

• Yükseltilmiş Python kitaplıkları:
  • fastjsonschema 2.18.0'dan 2.19.0'a
  • 3.12.3 ile 3.12.4 arasında dosya kilidi
  • 1.60.0 ile 1.61.0 arası googleapis-common-protos
• Güncellenmiş R kütüphaneleri:
• Yükseltilmiş Java kitaplıkları:

Apache Spark

Databricks Runtime 14.2, Apache Spark 3.5.0'ı içerir. Bu sürüm , Databricks Runtime 14.1'e (EoS) dahil olan tüm Spark düzeltmeleri ve iyileştirmelerinin yanı sıra Spark'ta yapılan aşağıdaki ek hata düzeltmelerini ve iyileştirmeleri içerir:

• [SPARK-45592] [DBRRM-624] “[SC-146977][sql] InMemoryTableScanExec ile AQE'deki doğruluk sorununu geri al”
• [SPARK-45524] [DBRRM-625] "[SC-146319][python][SQL] İlk destek için" geri al.
• [SPARK-45433] [DBRRM-621] “[SC-145163][sql] CSV/JSON şema çıkarması düzeltildi” işleminden geri dön.
• [SPARK-45592] [SC-146977][sql] InMemoryTableScanExec ile AQE'de doğruluk sorunu
• [SPARK-45354] “[SC-143991][sql] Fonksiyonları aşağıdan yukarıya çöz” değişikliğini geri al
• [SPARK-45680] [TEST-ONLY][sasp-2347][CONNECT] Testleri düzeltme
• [SPARK-45680] [BAĞLAN] Sürüm oturumu
• [SPARK-43380] [SC-146726][es-897115][SQL] Avro okumasında yavaşlama düzeltildi
• [SPARK-45649] [SC-146742][sql] Için hazırlama çerçevesini birleştirme OffsetWindowFunctionFrame
• [SPARK-40820] [SC-146727][python][SQL] Json'dan StructType Oluşturma
• [SPARK-45620] [SC-146225][python] Python UDTF ile ilgili kullanıcıya yönelik API'leri camelCase kullanacak şekilde düzeltme
• [SPARK-45727] [SC-146978][ss] Filigran yayma benzetiminde kullanılmayan haritayı kaldırma
• [SPARK-45723] [SC-146890][python][CONNECT] Katalog metotları pandas dönüştürmeyi önler
• [SPARK-45574] [SC-146106][sql] Cast işlemleri için :: söz dizimi kısaltması ekle
• [SPARK-45670] [SC-146725][core][3.5] SparkSubmit, K8'lerde dağıtım yaparken desteklemiyor --total-executor-cores
• [SPARK-45661] [SC-146594][sql][PYTHON] toNullable özelliğini StructType, MapType ve ArrayType'a ekle
• [SPARK-45524] [SC-146319][python][SQL] Python veri kaynağı okuma API'si için ilk destek
• [SPARK-45542] [SC-145892][core] şununla değiştir setSafeMode(HdfsConstants.SafeModeAction, boolean)setSafeMode(SafeModeAction, boolean)
• [SPARK-45652] [SC-146641][sql] SPJ: Dinamik filtrelemeden sonra boş giriş bölümlerini işleme
• [SPARK-45454] [SC-144846][sql] Tablonun varsayılan sahibini current_user olarak ayarlayın
• [SPARK-45554] [SC-146875][python] için esnek parametre ekleme assertSchemaEqual
• [SPARK-45242] [SC-143410][sql] CollectMetrics'i sembolik olarak doğrulamak için DataFrame Kimliğini kullanma
• [SPARK-45674] [SC-146862][connect][PYTHON] Spark Connect'te JVM'ye bağımlı öznitelikler için hata iletisini geliştirin.
• [SPARK-45646] [SC-146276][sql] Hive 2.0 öncesi sabit kodlama süresi değişkenlerini kaldırma
• [SPARK-43380] [SC-146726][es-897115][SQL] Avro okumasında yavaşlama düzeltildi
• [SPARK-45545] [SC-146484][core] SparkTransportConf oluşturduğumuz her yerde SSLOptions'ı geçirme
• [SPARK-45641] [SC-146260][ui] Uygulamanın başlangıç zamanını AllJobsPage'de görüntüleme
• [SPARK-40154] [SC-146491][python][Docs] Dataframe.cache docstring'de doğru depolama düzeyi
• [SPARK-45626] [SC-146259][sql] _LEGACY_ERROR_TEMP_1055'i REQUIRES_SINGLE_PART_NAMESPACE'a dönüştürme
• [SPARK-45507] [SC-145900][sql] COUNT toplamalarıyla iç içe bağıntılı skaler alt sorgular için doğruluk düzeltmesi
• [SPARK-45619] [SC-146226][connect][PYTHON] Gözlem nesnesine gözlemlenen ölçümleri uygulama
• [SPARK-45588] [SC-145909][protobuf][CONNECT][minor] StreamingForeachBatchHelper için Scaladoc iyileştirmesi
• [SPARK-45616] [SC-146120][core] ThreadLocals veya SparkSession yaymayan ParVector'ı önleme
• [SPARK-45604] [SC-146105][sql] INT64 üzerinde LogicalType denetimi ekleme -> Parquet Vectorized Reader'da DateTime dönüştürme
• [SPARK-44649] [SC-145891][sql] Çalışma Zamanı Filtresi eşdeğer oluşturma yan ifadelerini geçirmeyi destekler
• [SPARK-41674] [SC-128408][sql] Çalışma zamanı filtresi, filtre oluşturma tarafı olarak çok düzeyli karıştırma birleştirme tarafını desteklemelidir
• [SPARK-45547] [SC-146228][ml] Vektörleri yerleşik işlevle doğrulama
• [SPARK-45558] [SC-145890][ss] Durum bilgisi olan akış işleci için meta veri dosyası tanıtma
• [SPARK-45618] [SC-146252][core] BaseErrorHandler'ı kaldırma
• [SPARK-45638] [SC-146251][sql][Avro] Ondalık dönüştürmenin test kapsamını geliştirme
• [SPARK-44837] [SC-146020][sql] ALTER ALTER TABLE sütununu değiştirme PARTITION hata iletisi
• [SPARK-45561] [SC-146264][sql] MySQLDialect'te TINYINT için uygun dönüştürmeleri ekleme
• [SPARK-45632] [SC-146255][sql] AQE etkinleştirildiğinde tablo önbelleği gereksiz ColumnarToRow'un önüne geçmelidir
• [SPARK-45569] [SC-145932][sql] Hataya isim atama _LEGACY_ERROR_TEMP_2152
• [SPARK-44784] [SC-141015][connect] SBT testini hermetik hale getirin.
• [SPARK-45452] [SC-144836][sql] InMemoryFileIndex kullanmak için FileSystem.listFiles API'sini iyileştirme
• [SPARK-44735] [SC-146186][sql] Satıra göre aynı ada sahip sütunlar uyumsuz şekilde eklendiğinde uyarı mesajı ekleme
• [SPARK-45351] [SC-144791][core] Varsayılan değeri ROCKSDB olarak değiştirme spark.shuffle.service.db.backend
• [SPARK-45553] [SC-145906][ps] Kullanımdan kaldırma assertPandasOnSparkEqual
• [SPARK-45613] [SC-146022][core] DeterministicLevel'i DeveloperApi olarak kullanıma sunma
• [SPARK-45549] [SC-145895][core] İçinde kullanılmayan numExistingExecutors öğeleri kaldırın CoarseGrainedSchedulerBackend
• [SPARK-45609] [SC-146030][connect] SparkThrowable proto iletisine SqlState ekleme
• [SPARK-45595] [SC-146037] hata mesajında sqlstate'i gösterir
• [SPARK-45628] [SC-146123][ml] için geliştirme vector_to_array.mllib.linalg.SparseVector
• [SPARK-45009] [SC-145884][sql][TAKİP] AQE InSubquery testi için birleştirme koşullarındaki bağıntısızlaştırmayı devre dışı bırakma
• [SPARK-45576] [SC-145883][core] ReloadingX509TrustManagerSuite'da gereksiz hata ayıklama günlüklerini kaldırma
• [SPARK-45485] [SC-145719][connect] Kullanıcı aracısı geliştirmeleri: SPARK_CONNECT_USER_AGENT env değişkenini kullanma ve ortama özgü öznitelikler ekleme
• [SPARK-45508] [SC-145513][core] "–add-opens=java.base/jdk.internal.ref=ALL-UNNAMED" ekleyin, böylece Platform Java 9+ üzerinden Temizleyici'ye erişebilir
• [SPARK-45595] "[SC-146037] SQLSTATE'i hata iletisinde kullanıma sunmayı geri al"
• [SPARK-45595] [SC-146037] Hata iletisinde SQLSTATE'i kullanıma sunma
• [SPARK-45112] "[SC-143259][sql] UnresolvedFunction ba..." geri al
• [SPARK-45257] [SC-143411][core] Varsayılan olarak etkinleştir spark.eventLog.compress
• [SPARK-45586] [SC-145899][sql] Büyük ifade ağaçları içeren planlar için derleyici gecikme süresini azaltma
• [SPARK-45517] [SC-145691][connect][14.x] Hata çerçevesi parametrelerini desteklemek için daha fazla özel durum oluşturucuyu genişletin
• [SPARK-45581] [SC-145896] SQLSTATE'i zorunlu hale getirin.
• [SPARK-45427] [SC-145590][core] SSLOptions ve SparkTransportConf'a RPC SSL ayarları ekleme
• [SPARK-45261] [SC-143357][core] EventLogFileWriters bir codec olarak işlemek için none düzeltmesi
• [SPARK-45582] [SC-145897][ss] Çıkış modu akış toplama içinde commit işlemi çağrıldıktan sonra depo örneğinin kullanılmadığından emin olun
• [SPARK-45562] [SC-145720][sc-144650][SQL] XML: 'rowTag' öğesini gerekli bir seçenek yapma
• [SPARK-45392] [SC-144362][core][SQL][ss] şununla değiştir Class.newInstance()Class.getDeclaredConstructor().newInstance()
• [SPARK-45433] [SC-145163][sql] Zaman damgaları belirtilen timestampFormat ile eşleşmediğinde CSV/JSON şema çıkarımı düzeltildi
• [SPARK-45458] [SC-145011][sql] BitwiseExpressions'ta IllegalArgumentException'ı SparkIllegalArgumentException'a dönüştürme
• [SPARK-45564] [SC-145735][sql] 'DataFrameStatFunctions.bloomFilter' özelliğini 'BloomFilterAggregate' ifadesiyle basitleştirin
• [SPARK-45566] [SC-145777][ps] Spark üzerinde Pandas API için Pandas benzeri test yardımcı programları desteği
• [SPARK-45498] [SC-145509][core] Takip: Eski aşamanın görev tamamlamasını görmezden gel…
• [SPARK-45483] [SC-145152][connect] connect.functions içindeki işlev gruplarını düzeltme
• [SPARK-45577] [SC-145781][python] UserDefinedPythonTableFunctionAnalyzeRunner, adlandırılmış bağımsız değişkenlerden geçen katlanmış değerleri iletecek şekilde düzeltildi.
• [SPARK-45009] [SC-138223][takip] AetherSQLQuerySuite için birleştirme koşullarında dekorrelasyonu kapatma
• [SPARK-45415] [SC-145344] RocksDB statestore'da "fallocate" öğesinin seçmeli olarak devre dışı bırakılmasına izin ver
• [SPARK-45500] [SC-145134][core][WEBUI] MasterPage'de anormal olarak tamamlanmış sürücülerin sayısını göster
• [SPARK-44120] [SC-144349][python] Destek Python 3.12
• [SPARK-45439] [SC-145589][sql][UI] LiveStageMetrics.accumIdsToMetricType'ın bellek kullanımını azaltma
• [SPARK-45565] [SC-145717][ui] Aşama ayrıntılarındaki görev listesi için gereksiz JSON.stringify ve JSON.parse döngüsü
• [SPARK-45567] [SC-145718][connect] org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run içinde gereksiz "if" koşulunu kaldırma
• [SPARK-45112] [SC-143259][sql] SQL Veri Kümesi işlevlerinde UnresolvedFunction tabanlı çözümleme kullanma
• [SPARK-45486] [SASP-2457][sc-145612][CONNECT] add_artifact isteğini idempotent hale getir
• [SPARK-44913] [SC-144326][sql] DS V2, sihirli yöntemi olan V2 UDF'nin aşağı itme özelliğini destekler
• [SPARK-45538] [SC-145635][python][CONNECT]pyspark connect overwrite_partitions hatası
• [SPARK-45491] [SC-145622] Eksik SQLSTATES 2/2'yi ekleme
• [SPARK-45009] [SC-145620][sc-138223][SQL] Birleştirme koşulunda koşul alt sorgularını düzeltme
• [SPARK-45377] [SC-144377][core] NettyLogger'da InputStream'i ele almak
• [SPARK-45248] [SC-143759][core]Spark ui sunucusu için zaman aşımını ayarlama
• [SPARK-44594] [SC-145611][ss] Kafka bağlayıcısında yedekli yöntem parametresini kaldırma
• [SPARK-45539] [SC-145621][ss] Ekleme modunda akış toplama sorguları için filigran tanımının gerekli olduğunu belirtmek amacıyla bir kontrol ifadesi ve günlük ekleyin.
• [SPARK-44262] [SC-145639][sql] dropTable ve getInsertStatement JdbcDialect'e ekleme
• [SPARK-45516] [SC-145480][connect] SparkThrowable proto iletisine QueryContext ekleme
• [SPARK-45310] [SC-145127][core] Kullanımdan kaldırma geçişi sırasında rapor karıştırma bloğu durumu karıştırma hizmetine uygun olmalıdır
• [SPARK-45521] [SC-145487][ml] in nnz'nin yeniden hesaplanmasından kaçının VectorAssembler
• [SPARK-45418] [SC-145485][sql][PYTHON][connect] current_database() sütun diğer adını current_schema() olarak değiştirme
• [SPARK-45116] [SC-145142][sql] JdbcDialect parametresi için açıklama ekleme createTable
• [SPARK-45495] [SC-145529][çekirdek] Dinamik ayırma devre dışı bırakıldığında k8s kümesi için destek aşaması düzeyi görev kaynak profili
• [SPARK-45487] [SC-145559] SQLSTATEs ve geçici hataları düzeltme
• [SPARK-45505] [SC-145550][python] AnalyzeInPython'u yeniden kullanılabilir hale getirmek için yeniden düzenleme
• [SPARK-45132] [SC-145425][sql] İşlev çağırma için düzeltme IDENTIFIER
• [SPARK-45213] [SC-145020][sql] _LEGACY_ERROR_TEMP_2151 hatasına ad atanıyor
• [SPARK-45416] [SC-145126][connect] Arrow sonuçlarının tutarlılığını kontrol etme
• [SPARK-45163] [SC-143386][sql] UNSUPPORTED_VIEW_OPERATION ve UNSUPPORTED_TABLE_OPERATION'u birleştir ve bazı sorunları düzelt.
• [SPARK-45421] [SC-144814][sql] InlineCTE üzerinden AnalysisException'ı yakala
• [SPARK-43664] [SC-145404][connect][PS] Spark Connect'te Pandas-on-Spark nesnesi için ps.sql özel durum oluşturun.
• [SPARK-45402] [SC-145371][sql][PYTHON] Önceki 'analiz' sonucunu kullanmak için 'değerlendirme' ve 'sonlandırma' yöntemleri için UDTF API'sini ekleme
• [SPARK-36112] [SC-67885] [SQL] DecorrelateInnerQuery çerçevesi kullanılarak bağıntılı EXISTS ve IN alt sorgularını destekleme
• [SPARK-45383] [SC-144929][sql] Var olmayan tabloyla zaman yolculuğu için hata iletisi düzeltildi
• [SPARK-43254] [SC-143318][sql] Hataya bir ad atama _LEGACY_ERROR_TEMP_2018
• [SPARK-45204] [SC-145167][connect] SparkConnectPlanner'a isteğe bağlı ExecuteHolder ekleme
• [SPARK-45451] [SC-145144][sql] Veri kümesi önbelleğinin varsayılan depolama düzeyini yapılandırılabilir hale getirme
• [SPARK-45192] [SC-143194][ui] Graphviz edge için gecikmiş çizgi enterpolasyonu parametresi düzeltildi.
• [SPARK-45467] [SC-145146][core] şununla değiştir Proxy.getProxyClass() : Proxy.newProxyInstance().getClass
• [SPARK-45397] [SC-145139][ml][CONNECT] Dizi derleyici özellik transformatörü ekleme
• [SPARK-44855] [SC-145226][connect] ExecuteGrpcResponseSender'ı ExecuteResponseObserver'a eklemek için küçük ayarlamalar
• [SPARK-45398] [SC-144796][sql] İfadenin ESCAPE sonuna sql() ekleme Like
• [SPARK-45494] [SC-145129][core][PYTHON] PythonWorkerUtils için bayt dizisi okumak/yazmak için yardımcı program işlevlerini tanıtma
• [SPARK-45464] [SC-145125][core] Network Yarn dağılımı derlemesini düzeltme
• [SPARK-45461] [SC-144851][core][SQL][mllib] StorageLevel için eşleyici tanıtma
• [SPARK-45450] [SC-145009][python] PEP8'e göre içeri aktarmaları düzeltme: pyspark.pandas ve pyspark (çekirdek)
• [SPARK-45475] [SC-145018][sql] JdbcUtils'te RDD.foreachPartition yerine DataFrame.foreachPartition kullanıyor
• [SPARK-45271] [SC-143778][sql] _LEGACY_ERROR_TEMP_1113’ü TABLE_OPERATION’a yeniden birleştirin ve QueryCompilationErrors'da kullanılmayan bazı yöntemleri silin.
• [SPARK-45449] [SC-145013][sql] JDBC Tablosuyla Önbellek GeçersizLeştirme Sorunu
• [SPARK-45473] [SC-145017][sql] RoundBase için yanlış hata iletisi düzeltildi
• [SPARK-43299] [SC-145022][ss][CONNECT] Scala İstemcisi'nde StreamingQueryException'ı Dönüştürme
• [SPARK-45474] [SC-145014][core][WEBUI] MasterPage JSON API'sinde üst düzey filtreleme desteği
• [SPARK-45205] [SC-145012][sql] Birden çok işi tetiklememek için CommandResultExec sınıfı, iterator yöntemlerini geçersiz kılmalıdır.
• [SPARK-45472] [SC-145004][ss] RocksDB State Store'un denetim noktası yolunun varlığını yeniden denetlemesi gerekmiyor
• [SPARK-45470] [SC-145010][sql] Hive orc sıkıştırma türünün dize değerini yapıştırmaktan kaçının
• [SPARK-45448] [SC-144829][python] PEP8'e göre içeri aktarmaları düzeltme: pyspark.testing, pyspark.mllib, pyspark.resource ve pyspark.streaming
• [SPARK-45446] [SC-144828][python] PEP8'e göre içeri aktarmaları düzeltme: pyspark.errors ve pyspark.ml
• [SPARK-45239] [SC-144832][connect] Varsayılan spark.connect.jvmStacktrace.maxSize değerini azaltın
• [SPARK-45436] [SC-144831][python][CONNECT] DataFrame yöntemleri aynı oturumu denetle
• [SPARK-45413] [SC-144847][core] Drop LevelDB desteğini hazırlama uyarısı eklendi
• [SPARK-45462] [SC-144848][core][WEBUI] Duration içinde ApplicationPage Göster
• [SPARK-44527] [SC-144855][sql] maxRows değeri 0 ise ScalarSubquery'yi null ile değiştirme
• [SPARK-45401] [SC-144854][python] UDTF arabirimine yeni bir yöntem cleanup ekleme
• [SPARK-43704] [SC-144849][connect][PS] MultiIndex için to_series() desteği
• [SPARK-45424] [SC-144888][sql] Yalnızca ön ek eşleşmesi olduğunda TimestampFormatter'ın isteğe bağlı ayrıştırma sonuçlarını döndürmesini düzeltin
• [SPARK-45441] [SC-144833][python] PythonWorkerUtils için daha fazla yardımcı işlev tanıtın
• [SPARK-45412] [SC-144803][python][CONNECT] Planı ve oturumu doğrulayın DataFrame.__init__
• [SPARK-45408] [SC-144810][core] TransportConf'a RPC SSL ayarları ekleme
• [SPARK-45432] [SC-144818][core] Kullanım dışı bırakılan Hadoop-2 LocatedFileStatus oluşturucuyu kaldırma
• [SPARK-45434] [SC-144819][ml][CONNECT] LogisticRegression eğitim etiketlerini denetler
• [SPARK-45420] [SC-144808][sql][PYTHON][connect] PySpark'a DataType.fromDDL ekleme
• [SPARK-45406] [SC-144793][python][CONNECT] DataFrame oluşturucusundan silme schema
• [SPARK-45404] [SC-144799][core] Destek AWS_ENDPOINT_URL env değişkeni
• [SPARK-43620] [SC-144792][connect][PS] Pandas API'lerini düzeltme, desteklenmeyen özelliklere bağlıdır
• [SPARK-45354] [SC-143991][sql] İşlevleri aşağıdan yukarı çözme
• [SPARK-45394] [SASP-1480][sc-144712][PYTHON][connect] Yapıt API'sine yeniden denemeler ekleyin. Hata işlemeyi geliştirin (SPARK-45093’e devam olarak).
• [SPARK-45120] [SC-142780][spark-45150][UI] d3'i v3'ten v7(v7.8.5) sürümüne yükseltme ve kullanıcı arabiriminde api değişikliklerini uygulama
• [SPARK-44838] [SC-143983][sql] raise_error fonksiyonunun iyileştirilmesi
• [SPARK-45312] [SC-143754][sql][UI] Yürütme sayfasında plan svg'sini görüntüleme/gizleme desteği
• [SPARK-45378] [SC-144448][core] ManagedBuffer'a convertToNettyForSsl ekleme
• [SPARK-44762] [SC-144338][connect][CORE] SparkConnect.addJobTag ve Connect SparkSession.addTag için Doküman
• [SPARK-45383] Çözümlenmemiş RelationTimeTravel'ı düzgün bir şekilde işleme
• [SPARK-45347] [SC-144512][sql][CONNECT] SparkThrowable'ı FetchErrorDetailsResponse'a ekleme
• [SPARK-45012] [SC-141512][sql] CheckAnalysis, AnalysisException'da inlined plan oluşturmalı
• [SPARK-45359] [SC-144336][python][CONNECT] DataFrame.{columns, colRegex, explain} plan geçersiz olduğunda özel durumlar oluşturmalıdır
• [SPARK-45227] [SC-144233][core] CoarseGrainedExecutorBackend ile küçük bir iş parçacığı güvenliği sorunu düzeltildi
• [SPARK-45266] [SC-144171][python] Tablo bağımsız değişkenleri kullanıldığında yan yana birleştirmeyi geciktirmek için ResolveFunctions çözümleyici kuralını yeniden düzenleme
• [SPARK-45266] "[SC-144171][python] Tablo bağımsız değişkenleri kullanıldığında yan yana birleştirmeyi geciktirmek için ResolveFunctions çözümleyici kuralını yeniden düzenleme değişikliğini geri al"
• [SPARK-45371] [SC-144389][connect] Spark Connect Scala İstemcisi'nde gölgelendirme sorunlarını düzeltme
• [SPARK-45057] [SC-144214][core] keepReadLock false olduğunda okuma kilidi almaktan kaçının
• [SPARK-45385] [SC-144357][sql] Kullanımdan kaldırma spark.sql.parser.escapedStringLiterals
• [SPARK-45340] [SC-143917][sql] SQL yapılandırmasını kaldırma spark.sql.hive.verifyPartitionPath
• [SPARK-45266] [SC-144171][python] Tablo bağımsız değişkenleri kullanıldığında yan yana birleştirmeyi geciktirmek için ResolveFunctions çözümleyici kuralını yeniden düzenleme
• [SPARK-45362] [SC-144198][python] Python UDTF 'eval' yöntemini kullanmadan önce PARTITION BY İFADELERİNİ dışarıya projelendir.
• [SPARK-45346] [SC-143925][sql] Parquet şema çıkarımı, şemalar birleştirilirken büyük/küçük harfe duyarlı bayrağı dikkate almalıdır.
• [SPARK-45341] [SC-143933][core] KVStore.java dosyasındaki başlık düzeyini açıklamalarda düzeltin. sbt doc Java 17 ile başarıyla çalışmasını sağlamak için.
• [SPARK-45334] [SC-143914][sql] ParquetSchemaConverter'da yanıltıcı açıklamayı kaldırma
• [SPARK-45337] [SC-143932][core] Scala 2.12 denetimini kaldırmak için yeniden düzenleme AbstractCommandBuilder#getScalaVersion
• [SPARK-45329] [SC-143918][python][CONNECT] DataFrame'nin yöntemleri pandas dönüşümünü atlar
• [SPARK-43662] [SC-143923][ps][CONNECT] Spark Connect'te destek merge_asof
• [SPARK-44126] [SC-143751][core] Hedef yürütücü kullanımdan kaldırıldığında karıştırma geçiş hatası sayısı artmamalıdır
• [SPARK-44550] [SC-119768][sql] ANSI altında için null IN (empty list) doğruluk düzeltmelerini etkinleştirme
• [SPARK-45316] [SC-143783][core][SQL] ignoreCorruptFiles ve / öğelerine ignoreMissingFilesHadoopRDDNewHadoopRDD yeni parametre ekle
• [SPARK-45093] [SC-143414][connect][PYTHON] addArtifacts sorgusu için hata raporlama
• [SPARK-44756] [SC-143787][core] RetryingBlockTransferor yeniden denemeyi başlatamadığında yürütücü kilitleniyor
• [SPARK-45333] [SC-143768][core] Spark.eventLog.buffer.kb ile ilgili bir birim hatasını düzeltme
• [SPARK-45317] [SC-143750][sql][CONNECT] Özel durumların yığın izlemelerinde null dosya adını işleme
• [SPARK-45191] [SC-143407][sql] InMemoryTableScanExec simpleStringWithNodeId sütunlu bilgi ekliyor
• [SPARK-45235] [SC-143314][connect][PYTHON] eşleme ve dizi parametrelerini destekleme sql()
• [SPARK-45138] [SC-143309][ss] Yeni bir hata sınıfı tanımlayın ve DFS'ye denetim noktası oluşturma durumu başarısız olduğunda bunu uygulayın
• [SPARK-45297] [SC-143644][sql] SPARK-31827'ye eklenen tarih biçimlendirici için geçici çözümü kaldırma
• [SPARK-44345] [SC-143593][core] Shuffle geçişi etkinse günlük seviyesini WARN olarak düşür
• [SPARK-44463] [SC-143251][ss][CONNECT] Connect steaming Python worker için hata işlemeyi geliştirme
• [SPARK-45207] [SC-143603][sql][CONNECT] Scala İstemcisi için Hata Zenginleştirmesi Uygulaması
• [SPARK-45240] [SC-143602][sql][CONNECT] Python İstemcisi için Hata Zenginleştirmesi Gerçekleştirme
• [SPARK-45216] [SC-143288][sql] Belirlenimci olmayan dengeli Veri Kümesi API'lerini düzeltme
• [SPARK-45251] [SC-143419][connect] FetchErrorDetails için client_type alanı ekleme
• [SPARK-45137] [SC-143001][connect] Parametreli olarak eşleme/dizi parametrelerini destekleme sql()
• [SPARK-45224] [SC-143257][python] map ve array'i parametre olarak alan örnekler ekleme sql()
• [SPARK-44622] [SC-143205][sql][CONNECT] FetchErrorDetails RPC'nin Gerçekleştirilmesi
• [SPARK-45178] [SC-136089] Sarmalayıcı kullanmak yerine desteklenmeyen kaynaklarla Trigger.AvailableNow için bir toplu işlemi çalıştırmaya geri dön.
• [SPARK-44823] [14.x][sc-142979][PYTHON] Black'i 23.9.1'e güncelle ve hatalı kontrolü düzelt
• [SPARK-45078] [SC-142954][sql] ImplicitCastInputTypes'ın çalışmaması düzeltildi array_insert
• [SPARK-44579] [SC-138428][sql] SQLExecution'da İptalde Kesme Desteği
• [SPARK-45252] [SC-143371][core] sbt doc'in başarıyla yürütülmesi için açıklamalardaki büyüktür/küçüktür simgelerinden kaçış yapın.
• [SPARK-45189] [SC-142973][sql] TableIdentifier'dan UnresolvedRelation oluşturma işlemi katalog alanını içermelidir
• [SPARK-45229] [SC-143254][core][UI] MasterPage'de GÖNDERİLEN durumda bekleyen sürücü sayısını göster
• [SPARK-43453] "[SC-143135][ps] için names durumunda MultiIndex'ün axis=1 ve concat'sini yoksay" ifadesini geri al

Databricks ODBC/JDBC sürücü desteği

Databricks, son 2 yılda yayımlanan ODBC/JDBC sürücülerini destekler. Lütfen son yayınlanan sürücüleri indirin ve yükseltin (ODBC'yi indirin, JDBC'yi indirin).

Bkz . Databricks Runtime 14.2 bakım güncelleştirmeleri.

Sistem ortamı

• İşletim Sistemi: Ubuntu 22.04.3 LTS
• Java: Zulu 8.72.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Gölü: 3.0.0

Yüklü Python kitaplıkları

Yüklü R kitaplıkları

R kütüphaneleri, 2023-02-10'da Posit Paket Yöneticisi CRAN snapshot'ından yüklendi.

Yüklü Java ve Scala kitaplıkları (Scala 2.12 küme sürümü)