Databricks Runtime 15.2 (EoS)

Aşağıdaki sürüm notları, Apache Spark 3.5.0 tarafından desteklenen Databricks Runtime 15.2 hakkında bilgi sağlar.

Databricks bu sürümü Mayıs 2024'te yayımladı.

Davranış değişiklikleri

Vakum, COPY INTO meta veri dosyalarını temizler

VACUUM ile yazılmış bir tabloda COPY INTO çalıştırmak artık alınan dosyaları izlemeyle ilişkili başvurulmamış meta verileri temizler. 'nin işletimsel semantiği COPY INTOüzerinde hiçbir etkisi yoktur.

Lakehouse Federasyonu genel kullanıma sunuldu (GA)

Databricks Runtime 15.2 ve sonraki sürümlerinde, aşağıdaki veritabanı türleri genelinde Lakehouse Federasyon bağlayıcıları genel olarak kullanılabilir (GA):

• MySQL
• PostgreSQL
• Amazon Redshift
• Snowflake
• Microsoft SQL Server
• Azure Synapse (SQL Veri Ambarı)
• Databricks

Bu sürümde ayrıca aşağıdaki geliştirmeler de yer alıvermektedir:

• Snowflake ve Microsoft SQL Server bağlayıcılarında çoklu oturum açma (SSO) kimlik doğrulaması desteği.

• Azure Özel Bağlantı desteği, sunucusuz işlem ortamlarından SQL Server bağlayıcısı için. Bkz . 3. Adım: Özel uç nokta kuralları oluşturma.

• Ek veri işlev gönderim desteği (metin, matematik ve çeşitli işlevler).
• Farklı sorgu şekilleri arasında geliştirilmiş gönderim başarı oranı.
• Ek pushdown hata ayıklama özellikleri:
  • EXPLAIN FORMATTED çıktısı, aşağı gönderilen sorgu metnini görüntüler.
  • Sorgu profili kullanıcı arabirimi, gönderilen sorgu metnini, federasyon düğüm tanımlayıcılarını ve JDBC sorgu yürütme sürelerini (ayrıntılı modda) görüntüler. Bkz. Sistem tarafından oluşturulan federasyon sorgularını görüntüleme.

Üst bilgisiz CSV dosyalarıyla BY POSITION kullanarak sütun eşleme için COPY INTO

Databricks Runtime 15.2 ve sonraki sürümlerinde, kaynak sütunları hedef tablo sütunları ile eşleştirmeyi basitleştirmek için başlık bilgisi olmayan CSV dosyalarında BY POSITION ile birlikte ( col_name [ , <col_name> ... ] ) anahtar sözcüklerini (veya alternatif olarak COPY INTOsöz dizimini) kullanabilirsiniz. Bkz. Parametreler.

Spark görevleri hatayla Resubmitted başarısız olduğunda bellek tüketimini azaltma

Databricks Runtime 15.2 ve sonraki sürümlerinde görevler hatayla TaskInfo.accumulables() başarısız olduğunda Spark Resubmitted yönteminin dönüş değeri boş olur. Önceden, yöntem daha önceki başarılı bir görev denemesinin değerlerini döndürüyordu. Bu davranış değişikliği aşağıdaki tüketicileri etkiler:

• sınıfını EventLoggingListener kullanan Spark görevleri.
• Özel Spark Dinleyicileri.

Önceki davranışı geri yüklemek için spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled öğesini false olarak ayarlayın.

Uyarlamalı sorgu yürütme planı sürümlerini görüntüleme devre dışı bırakıldı

Bellek tüketimini azaltmak için uyarlamalı sorgu yürütme (AQE) planı sürümleri artık Spark kullanıcı arabiriminde varsayılan olarak devre dışı bırakılmıştır. Spark kullanıcı arabiriminde AQE planı sürümlerini görüntülemeyi etkinleştirmek için spark.databricks.sql.aqe.showPlanChangesInUI.enabledtrueolarak ayarlayın.

Spark kullanıcı arabirimi bellek kullanımını azaltmak için korunan sorgulardaki sınır azaltıldı

Databricks Runtime 15.2 ve sonraki sürümlerinde, spark kullanıcı arabirimi tarafından Azure Databricks işlemde kullanılan belleği azaltmak için kullanıcı arabiriminde görünen sorgu sayısı sınırı 1000'den 100'e indirilir. Sınırı değiştirmek için Spark yapılandırmasını spark.sql.ui.retainedExecutions kullanarak yeni bir değer ayarlayın.

DESCRIBE HISTORY artık sıvı kümeleme kullanan tablolar için kümeleme sütunlarını gösteriyor

DESCRIBE HISTORY sorgu çalıştırdığınızda, operationParameters sütununda clusterBy ve CREATE OR REPLACE işlemleri için varsayılan olarak bir OPTIMIZE alanı gösterilir. Sıvı kümeleme kullanan bir Delta tablosu için clusterBy , alan tablonun kümeleme sütunlarıyla doldurulur. Tablo sıvı kümelemesi kullanmıyorsa, alan boş olur.

Not defteri pencere öğesi söz dizimi kullanım dışı bırakıldı

Databricks Runtime 15.2'den başlayarak, ${param} SQL hücrelerindeki not defteri pencere öğesi değerlerine erişme söz dizimi kullanım dışıdır. Bunun yerine parametre işaretçisi söz dizimini (:param) kullanın. Parametre işaretçisi söz dizimi daha iyi SQL ekleme koruması ve geliştirilmiş sorgu performansı sağlar.

Geçiş kılavuzu ve örnekler için bkz Eski not defteri pencere öğeleri. Geçerli önerilen yaklaşım hakkında bilgi için Databricks widget'larına bakın.

Yeni özellikler ve geliştirmeler

Birincil ve yabancı anahtarlar için destek GA'dır

Databricks Runtime'da birincil ve yabancı anahtar desteği genel olarak kullanılabilir. GA sürümü, birincil ve yabancı anahtarları kullanmak için gereken ayrıcalıklarda aşağıdaki değişiklikleri içerir:

• Yabancı anahtarı tanımlamak için, yabancı anahtarın başvurduğu birincil anahtarı içeren tabloda SELECT ayrıcalığına sahip olmanız gerekir. Daha önce gerekli olan birincil anahtara sahip tabloya sahip olmanız gerekmez.
• CASCADE yan tümcesini kullanarak birincil anahtarı bırakmak, birincil anahtara başvuran yabancı anahtarları tanımlayan tablolarda ayrıcalık gerektirmez. Daha önce başvuru tablolarına sahip olmanız gerekiyordu.
• Kısıtlamaları içeren bir tabloyu bırakmak için artık kısıtlama içermeyen tabloları bırakmayla aynı ayrıcalıklar gerekir.

Tablo veya görünümlerle birincil ve yabancı anahtarların nasıl kullanılacağını öğrenmek için bkz. yan tümcesi , yan tümcesive yan tümcesi.

Sıvı kümeleme GA olarak bilinir

Sıvı kümeleme desteği artık Databricks Runtime 15.2 ve üzeri kullanılarak genel kullanıma sunulmuştur. Bkz Tablolar için sıvı kümeleme kullanma.

Tür Genişletme Genel Önizleme Aşamasında

Artık Delta Lake tarafından desteklenen tablolarda tür genişletmeyi etkinleştirebilirsiniz. Tür genişletmesi etkinleştirilmiş tablolar, temel alınan veri dosyalarını yeniden yazmadan sütun türünü daha geniş bir veri türüne dönüştürmeye olanak sağlar. Bkz. Tür genişletme.

SQL birleştirme söz dizimine şema evrimi yan tümcesi eklendi

Artık WITH SCHEMA EVOLUTION yan tümcesini sql birleştirme deyimine ekleyerek işlem için şema evrimini etkinleştirebilirsiniz. MERGESQL, Python ve Scala kullanarak şema evrimini inceleyin.

PySpark özel veri kaynakları Genel Önizleme'de kullanılabilir

PySpark DataSource, Python kullanarak apache Spark'taki özel veri kaynaklarından okuma ve özel veri havuzlarına yazma işlemlerine olanak tanıyan Python (PySpark) DataSource API'sini kullanarak oluşturulabilir. Bkz. PySpark özel veri kaynakları

applyInPandas ve mapInPandas artık paylaşılan erişim moduyla Unity Kataloğu işlemlerinde kullanılabilir

Databricks Runtime 14.3 LTS bakım sürümünün bir parçası olarak, applyInPandas ve mapInPandas UDF türleri artık Databricks Runtime 14.3 ve üstünü çalıştıran paylaşılan erişim modu bilgisayarlarında desteklenmektedir.

Not defterindeki tüm pencere öğelerini almak için dbutils.widgets.getAll() kullanma

kullanaraknot defterindeki tüm pencere öğesi değerlerini için alın. Bu, bir Spark SQL sorgusuna birden çok pencere öğesi değeri geçirirken özellikle yararlıdır.

Vakum envanteri desteği

Artık Delta tablosunda VACUUM komutunu çalıştırırken göz önünde bulundurmanız gereken bir dosya envanteri belirtebilirsiniz. OSS Delta belgelerine bakın.

Zstandard sıkıştırma işlevleri desteği

Artık zst_compress, zstd_decompress ve try_zstd_decompress işlevlerini kullanarak verileri sıkıştırabilir ve açabilirsiniz.

Hata düzeltmeleri

SQL kullanıcı arabirimindeki sorgu planları artık doğru görüntüleniyor PhotonWriteStage

SQL kullanıcı arabiriminde görüntülendiğinde, write sorgu planlarındaki komutlar hatalı bir şekilde işleç olarak gösterildi PhotonWriteStage . Bu sürümle, kullanıcı arabirimi PhotonWriteStage aşama olarak gösterecek şekilde güncellenmiştir. Bu yalnızca bir kullanıcı arabirimi değişikliğidir ve sorguların nasıl çalıştırılma şeklini etkilemez.

Ray, Ray kümelerini başlatmayla ilgili sorunları düzeltmek için güncelleştirildi

Bu sürüm, Ray kümelerinin Machine Learning için Databricks Runtime ile başlamasını engelleyen uyumsuz bir değişikliği düzelten, yama uygulanmış Ray sürümünü içerir. Bu değişiklik, Ray işlevselliğinin Databricks Runtime'ın 15.2'den önceki sürümleriyle aynı olmasını sağlar.

DataFrame.sort() ve DataFrame.sortWithinPartitions() işlevleri için düzeltilen hata sınıfı

Bu sürüm, PySpark DataFrame.sort() ve DataFrame.sortWithinPartitions() işlevlerine, ZERO_INDEX dizin argümanı olarak geçirildiğinde 0 hata sınıfının oluşturulmasını sağlamak için bir güncelleme içerir. Daha önce hata sınıfı INDEX_NOT_POSITIVE oluşturuldu.

ipywidgets 8.0.4'ten 7.7.2'ye düşürüldü

Databricks Runtime 15.0'da ipywidgets'in 8.0.4'e yükseltilmesiyle ortaya çıkan hataları düzeltmek için, Databricks Runtime 15.2'de ipywidgets 7.7.2 sürümüne düşürüldü. Bu, önceki Databricks Runtime sürümlerinde bulunan sürümle aynıdır.

Kitaplık yükseltmeleri

• Yükseltilmiş Python kitaplıkları:
  • 3.1.42 ile 3.1.43 arasında GitPython
  • 2.17.1 ile 2.18.0 arası google-api-core
  • google-auth'u 2.28.1 sürümünden 2.29.0 sürümüne yükseltme
  • 2.15.0 ile 2.16.0 arası google-cloud-storage
  • 1.62.0 ile 1.63.0 arası googleapis-common-protos
  • ipywidgets 8.0.4 sürümünden 7.7.2 sürümüne
  • 2.11.1 ile 2.11.3 arası mlflow-skinny
  • s3transfer 0.10.0 sürümünden 0.10.1 sürümüne
  • sqlparse 0.4.4 sürümünden 0.5.0 sürümüne
  • typing_extensions 4.7.1'den 4.10.0'a
• Yükseltilen R kitaplıkları:
• Yükseltilmiş Java kitaplıkları:
  • com.amazonaws.aws-java-sdk-autoscaling 1.12.390 sürümünden 1.12.610 sürümüne
  • com.amazonaws.aws-java-sdk-cloudformation 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-cloudfront 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-cloudhsm sürümü 1.12.390'dan 1.12.610'a güncellendi.
  • com.amazonaws.aws-java-sdk-cloudsearch 1.12.390'dan 1.12.610'a
  • com.amazonaws.aws-java-sdk-cloudtrail sürümü 1.12.390'dan 1.12.610'a güncellendi.
  • com.amazonaws.aws-java-sdk-cloudwatch 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics 1.12.390 sürümünden 1.12.610 sürümüne
  • com.amazonaws.aws-java-sdk-codedeploy sürümü 1.12.390'dan 1.12.610'a güncellendi
  • com.amazonaws.aws-java-sdk-cognitoidentity 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-cognitosync 1.12.390 ile 1.12.610 arasında
  • com.amazonaws.aws-java-sdk-config 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-core 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-datapipeline 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-directconnect sürümü 1.12.390'dan 1.12.610'a yükseltildi.
  • com.amazonaws.aws-java-sdk-directory 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-dynamodb 1.12.390'dan 1.12.610'a
  • com.amazonaws.aws-java-sdk-ec2 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-ecs 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-efs 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-elasticache 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-elasticbeanstalk 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-elasticloadbalancing 1.12.390'dan 1.12.610'a
  • com.amazonaws.aws-java-sdk-elastictranscoder 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-emr 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-glacier 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-glue 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-iam 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-importexport 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-kinesis 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-kms 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-lambda 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-logs 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-machinelearning 1.12.390'dan 1.12.610'a
  • com.amazonaws.aws-java-sdk-opsworks 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-rds 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-redshift 1.12.390'dan 1.12.610'a
  • com.amazonaws.aws-java-sdk-route53 versiyonundan 1.12.390 versiyonuna 1.12.610
  • com.amazonaws.aws-java-sdk-s3 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-ses 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-simpledb 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-simpleworkflow 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-sns 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-sqs 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-ssm 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-storagegateway 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-sts 1.12.390 ile 1.12.610 arasında
  • com.amazonaws.aws-java-sdk-support sürüm 1.12.390'dan 1.12.610'a
  • com.amazonaws.aws-java-sdk-workspaces 1.12.390 ile 1.12.610 arası
  • com.amazonaws.jmespath-java 1.12.390 ile 1.12.610 arası

Apache Spark

Databricks Runtime 15.2, Apache Spark 3.5.0'ı içerir. Bu sürüm, Databricks Runtime 15.1'de (EoS) bulunan tüm Spark düzeltmeleri ve iyileştirmelerinin yanı sıra Spark'ta yapılan aşağıdaki ek hata düzeltmelerini ve iyileştirmeleri içerir:

• [SPARK-47941] [SC-163568] [SS] [Bağlan] ForeachBatch çalışan başlatma hatalarını PySpark için kullanıcılara yayma
• [SPARK-47412] [SC-163455][sql] LPad/RPad için Harmanlama Desteği Ekle.
• [SPARK-47907] [SC-163408][sql] Bang'i yapılandırma altına koyma
• [SPARK-46820] [SC-157093][python] Geri yükleyerek hata iletisi regresyonu düzeltildi new_msg
• [SPARK-47602] [SPARK-47577][spark-47598][SPARK-47577]Çekirdek/MLLib/Kaynak yöneticileri: yapılandırılmış günlük kaydı geçişi
• [SPARK-47890] [SC-163324][connect][PYTHON] Scala ve Python'a değişken işlevleri ekleyin.
• [SPARK-47894] [SC-163086][core][WEBUI] Ana kullanıcı arabirimine sayfa ekleme Environment
• [SPARK-47805] [SC-163459][ss] MapState için TTL Uygulama
• [SPARK-47900] [SC-163326] Gizli (UTF8_BINARY) harmanlama denetimini düzelt
• [SPARK-47902] [SC-163316][sql]Hesapla Geçerli Zaman* ifadelerini katlanabilir yapma
• [SPARK-47845] [SC-163315][sql][PYTHON][connect] Scala ve python için bölünmüş işlevde sütun türü desteği
• [SPARK-47754] [SC-162144][sql] Postgres: Çok boyutlu dizileri okumayı destekler
• [SPARK-47416] [SC-163001][sql] CollationBenchmark #90339'a yeni işlevler ekleme
• [SPARK-47839] [SC-163075][sql] RewriteWithExpression'da toplu hata düzeltildi
• [SPARK-47821] [SC-162967][sql] is_variant_null ifadesini uygulama
• [SPARK-47883] [SC-163184][sql] RowQueue ile tembel hale getirme CollectTailExec.doExecute
• [SPARK-47390] [SC-163306][sql] PostgresDialect, TIMESTAMP ile TIMESTAMP_TZ arasında ayrım yapar.
• [SPARK-47924] [SC-163282][core] hata ayıklama günlüğü ekleme DiskStore.moveFileToBlock
• [SPARK-47897] [SC-163183][sql][3.5] Scala 2.12'de ExpressionSet performans regresyonu düzeltildi
• [SPARK-47565] [SC-161786][python] PySpark çalışan havuzu kilitlenme dayanıklılığı
• [SPARK-47885] [SC-162989][python][CONNECT] pyspark.resource'ı pyspark-connect ile uyumlu hale getirme
• [SPARK-47887] [SC-163122][connect] Kullanılmayan importu spark/connect/common.proto kaldır spark/connect/relations.proto
• [SPARK-47751] [SC-161991][python][CONNECT] pyspark.worker_utils pyspark-connect ile uyumlu hale getirme
• [SPARK-47691] [SC-161760][sql] Postgres: Yazma tarafında çok boyutlu diziyi destekler
• [SPARK-47617] [SC-162513][sql] Harmanlamalar için TPC-DS test altyapısı ekleme
• [SPARK-47356] [SC-162858][sql] ConcatWs & Elt için destek ekleme (tüm harmanlamalar)
• [SPARK-47543] [SC-161234][connect][PYTHON] Pandas DataFrame'den dict olarak MapType çıkarım yaparak DataFrame oluşturmaya izin veriliyor.
• [SPARK-47863] [SC-162974][sql] startsWith ve endsWith için ICU harmanlama farkındalığıyla uygulama düzeltildi.
• [SPARK-47867] [SC-162966][sql] JSON taramasında destek değişkeni.
• [SPARK-47366] [SC-162475][sql][PYTHON] PySpark için VariantVal ekleme
• [SPARK-47803] [SC-162726][sql] Değişkene dönüştürme desteği.
• [SPARK-47769] [SC-162841][sql] schema_of_variant_agg ifadesi ekle.
• [SPARK-47420] [SC-162842][sql] Test çıktısı düzeltildi
• [SPARK-47430] [SC-161178][sql] MapType desteği GROUP BY
• [SPARK-47357] [SC-162751][sql] Upper, Lower, InitCap için destek ekleme (tüm harmanlamalar)
• [SPARK-47788] [SC-162729][ss] Durum bilgisi olan işlemleri akışla aktarma için aynı karma bölümlemenin olduğundan emin olun
• [SPARK-47776] [SC-162291][ss] Durum bilgisi olan işlecin anahtar şemasında ikili eşitsizlik harmanlamasının kullanılmasına izin verme
• [SPARK-47673] [SC-162824][ss] ListState için TTL Uygulama
• [SPARK-47818] [SC-162845][connect] Analiz isteklerinin performansını artırmak için SparkConnectPlanner'da plan önbelleğini tanıtma
• [SPARK-47694] [SC-162783][connect] en büyük ileti boyutunu istemci tarafında yapılandırılabilir hale getirme
• [SPARK-47274] "[SC-162479][python][SQL] Daha faydalı kullanılabilirlik sağlama..." geri al
• [SPARK-47616] [SC-161193][sql] MySQL'den Spark SQL Veri Türlerini Eşlemek için Kullanıcı Belgesi Ekleme
• [SPARK-47862] [SC-162837][python][CONNECT]Proto dosyalarının oluşturulmasını düzeltme
• [SPARK-47849] [SC-162724][python][CONNECT] Pyspark-connect'i yayınlayacak sürüm betiğini değiştirme
• [SPARK-47410] [SC-162518][sql] UTF8String ve CollationFactory'yi yeniden düzenleme
• [SPARK-47807] [SC-162505][python][ML] pyspark.ml pyspark-connect ile uyumlu hale getirme
• [SPARK-47707] [SC-161768][sql] MySQL Bağlayıcısı/J 5.x için JSON türünün özel işlenmesi
• [SPARK-47765] “[SC-162636][sql] Ayrıştırmalara COLLATION eklemesini geri al…
• [SPARK-47081] [SC-162151][connect][FOLLOW] İlerleme İşleyicisinin kullanılabilirliğini geliştirme
• [SPARK-47289] [SC-161877][sql] Eklentilerin açıklama planında ayrıntılı bilgileri kaydetmesine izin ver
• [SPARK-47274] [SC-162479][python][SQL] PySpark DataFrame API hataları için daha kullanışlı bağlam sağlayın
• [SPARK-47765] [SC-162636][sql] Ayrıştırıcı kurallarına COLLATION ekleme SET
• [SPARK-47828] [SC-162722][connect][PYTHON] DataFrameWriterV2.overwrite geçersiz planla başarısız oluyor
• [SPARK-47812] [SC-162696][connect] ForEachBatch çalışanı için SparkSession Serileştirme desteği
• [SPARK-47253] [SC-162698][core] LiveEventBus'ın olay kuyruğu tamamen tükenmeden durmasına izin ver
• [SPARK-47827] [SC-162625][python] Kullanım dışı bırakılan özellikler için eksik uyarılar
• [SPARK-47733] [SC-162628][ss] Sorgu ilerleme durumunun transformWithState işleci bölümü için özel ölçümler ekleme
• [SPARK-47784] [SC-162623][ss] TTLMode ve TimeoutMode'ı tek bir TimeMode'da birleştirin.
• [SPARK-47775] [SC-162319][sql] Değişken belirtiminde kalan skaler türleri destekler.
• [SPARK-47736] [SC-162503][sql] AbstractArrayType için destek ekleme
• [SPARK-47081] [SC-161758][connect] Sorgu Yürütme İlerlemesini Destekleme
• [SPARK-47682] [SC-162138][sql] Variant'tan dönüşüm desteği.
• [SPARK-47802] [SC-162478][sql] Anlam yapısından (*) anlamına geri dön
• [SPARK-47680] [SC-162318][sql] variant_explode ifadesi ekleme.
• [SPARK-47809] [SC-162511][sql] checkExceptionInExpression her kod oluşturma modu için hatayı denetlemelidir
• [SPARK-41811] [SC-162470][python][CONNECT] ile uygulama SQLStringFormatterWithRelations
• [SPARK-47693] [SC-162326][sql] UTF8_BINARY_LCASE harmanlamada kullanılan UTF8String küçük harf karşılaştırması için iyileştirme eklendi
• [SPARK-47541] [SC-162006][sql] İşlemleri destekleyen karmaşık türlerdeki harmanlanmış dizeler ters, array_join, concat, map
• [SPARK-46812] [SC-161535][connect][PYTHON] mapInPandas / mapInArrow için ResourceProfile desteği sağlayın
• [SPARK-47727] [SC-161982][python] SparkConf'ı hem SparkSession hem de SparkContext için kök düzeyinde yap
• [SPARK-47406] [SC-159376][sql] MYSQLDialect'te TIMESTAMP ve DATETIME işleme
• [SPARK-47081] "[SC-161758][connect] Sorgu Yürütme Desteğini Geri Al"
• [SPARK-47681] [SC-162043][sql] schema_of_variant ifadesi ekleme.
• [SPARK-47783] [SC-162222] Eksik bazı SQLSTATE'leri ekleyin ve YY000'ü temizleyin...
• [SPARK-47634] [SC-161558][sql] Harita anahtar normalleştirmesini devre dışı bırakmak için eski destek ekleme
• [SPARK-47746] [SC-162022] RocksDBStateEncoder'da sıra tabanlı aralık kodlaması uygulama
• [SPARK-47285] [SC-158340][sql] AdaptiveSparkPlanExec her zaman context.session kullanmalıdır
• [SPARK-47643] [SC-161534][ss][PYTHON] Python akış kaynağı için pyspark testi ekleme
• [SPARK-47582] [SC-161943][sql] Catalyst logInfo'u değişkenlerle birlikte yapılandırılmış günlükleme çerçevesine geçirmek
• [SPARK-47558] [SC-162007][ss] ValueState için Durum TTL desteği
• [SPARK-47358] [SC-160912][sql][COLLATION] Doğru veri türünü döndürmek için yineleme ifadesi desteğini geliştirme
• [SPARK-47504] [SC-162044][sql] StringTypeCollated için AbstractDataType simpleStrings'i çözümleme
• [SPARK-47719] “[SC-161909][sql] spark.sql.legacy.t... değişikliğini geri al”
• [SPARK-47657] [SC-162010][sql] Dosya kaynağı başına harmanlama filtresi gönderme desteği uygulama
• [SPARK-47081] [SC-161758][connect] Sorgu Yürütme İlerlemesini Destekleme
• [SPARK-47744] [SC-161999] Aralık kodlayıcıda negatif değerli baytlar için destek ekleme
• [SPARK-47713] [SC-162009][sql][CONNECT] Kendi kendine birleştirme hatasını düzeltme
• [SPARK-47310] [SC-161930][ss] Durum deposunun değer bölümündeki birden çok değer için birleştirme işlemleri için mikro karşılaştırma ekleme
• [SPARK-47700] [SC-161774][sql] treeNode ile hata iletilerinin biçimlendirmesini düzeltme
• [SPARK-47752] [SC-161993][ps][CONNECT] pyspark.pandas'ı pyspark-connect ile uyumlu hale getirme
• [SPARK-47575] [SC-161402][spark-47576][SPARK-47654] Yapılandırılmış günlük çerçevesine logWarning/logInfo API'sini uygulama
• [SPARK-47107] [SC-161201][ss][PYTHON] Python akış veri kaynağı için bölüm okuyucu uygulama
• [SPARK-47553] [SC-161772][ss] transformWithState işleç API'leri için Java desteği ekleme
• [SPARK-47719] [SC-161909][sql] spark.sql.legacy.timeParserPolicy'nin varsayılanını DÜZELTİLDİ olarak değiştirme
• [SPARK-47655] [SC-161761][ss] Zamanlayıcıyı state-v2 için İlk Durum işleme ile tümleştirme
• [SPARK-47665] [SC-161550][sql] SMALLINT kullanarak MYSQL'e ShortType Yazma
• [SPARK-47210] [SC-161777][sql] Belirsiz destek olmadan örtük döküm ekleme
• [SPARK-47653] [SC-161767][ss] Negatif sayısal türler ve aralık tarama anahtarı kodlayıcı desteği eklendi
• [SPARK-46743] [SC-160777][sql] Sabit katlamadan sonra sayma hatası
• [SPARK-47525] [SC-154568][sql] Harita öznitelikleri üzerinde alt sorgu ilişkilendirme birleştirmesi desteği
• [SPARK-46366] [SC-151277][sql] Yinelenen ifadeleri önlemek için BETWEEN içindeki WITH ifadesini kullanma
• [SPARK-47563] [SC-161183][sql] Oluşturma sırasında harita normalleştirmesi ekleme
• [SPARK-42040] [SC-161171][sql] SPJ: Bölüm istatistiklerini raporlamak için V2 giriş bölümü için yeni bir API tanıtma
• [SPARK-47679] [SC-161549][sql] HiveConf.getConfVars veya Hive konfigürasyon adlarını doğrudan kullanın
• [SPARK-47685] [SC-161566][sql] türü için Stream desteğini Dataset#groupBy içinde geri yükle
• [SPARK-47646] [SC-161352][sql] Hatalı biçimlendirilmiş giriş için try_to_number null döndür
• [SPARK-47366] [SC-161324][python] Pyspark ve veri çerçevesi için parse_json takma adlarını ekleme
• [SPARK-47491] [SC-161176][core] slf4j-api jar dosyasını jars dizinindeki diğerlerinden önce sınıf yoluna ekle.
• [SPARK-47270] [SC-158741][sql] Dataset.isEmpty komutu sonuçları yerel olarak projelendiriyor.
• [SPARK-47364] [SC-158927][core] Eklentiler tek yönlü iletiye yanıt verdiğinde PluginEndpoint'in uyarı vermesini sağla
• [SPARK-47280] [SC-158350][sql] ORACLE TIMESTAMP WITH için saat dilimi sınırlamasını kaldırma TIMEZONE
• [SPARK-47551] [SC-161542][sql] variant_get ifadesi ekleme.
• [SPARK-47559] [SC-161255][sql] Değişken için Codegen Desteği parse_json
• [SPARK-47572] [SC-161351][sql] Pencere partitionSpec'in sıralanabilir olmasını zorunlu kıl.
• [SPARK-47546] [SC-161241][sql] Parquet'den Değişken okurken doğrulamayı geliştirme
• [SPARK-47543] [SC-161234][connect][PYTHON] Pandas DataFrame'den dict olarak MapType çıkarım yaparak DataFrame oluşturmaya izin veriliyor.
• [SPARK-47485] [SC-161194][sql][PYTHON][connect] Veri çerçevesi API'sinde harmanlamalarla sütun oluşturma
• [SPARK-47641] [SC-161376][sql] UnaryMinus ve Abs için performansı iyileştirme
• [SPARK-47631] [SC-161325][sql] Kullanılmayan SQLConf.parquetOutputCommitterClass yöntemi kaldırma
• [SPARK-47674] [SC-161504][core] Varsayılan olarak etkinleştir spark.metrics.appStatusSource.enabled
• [SPARK-47273] [SC-161162][ss][PYTHON] Python veri akışı yazıcı arabirimini uygulayın.
• [SPARK-47637] [SC-161408][sql] Daha fazla yerde errorCapturingIdentifier kullanma
• [SPARK-47497] "Dönüştürmek “Revert “[SC-160724][sql] to_csv'in dizi/yapı/harita/ikili çıktılarını güzel dizgiler olarak desteklemesini sağla””"
• [SPARK-47492] [SC-161316][sql] Lexer'da boşluk kurallarını genişletme
• [SPARK-47664] [SC-161475][python][CONNECT] Sütun adını önbelleğe alınmış şemayla doğrulama
• [SPARK-47638] [SC-161339][ps][CONNECT] PS'de sütun adı doğrulamayı atlama
• [SPARK-47363] [SC-161247][ss] State API v2 için durum okuyucu uygulanmadan ilk durum.
• [SPARK-47447] [SC-160448][sql] Parquet TimestampLTZ'nin TimestampNTZ olarak okunmasına izin ver
• [SPARK-47497] "[SC-160724][sql] to_csv çıktısını array/struct/map/binary olarak güzel dizeler halinde desteklemesini geri al"
• [SPARK-47434] [SC-160122][webui] statistics bağlantısını düzelt StreamingQueryPage
• [SPARK-46761] [SC-159045][sql] JSON yolundaki tırnak içine alınmış dizeler '?' karakterini desteklemelidir. karakter
• [SPARK-46915] [SC-155729][sql] Hata sınıfını basitleştirme UnaryMinusAbs ve hizalama
• [SPARK-47431] [SC-160919][sql] Oturum düzeyi varsayılan Harmanlama eklendi
• [SPARK-47620] [SC-161242][python][CONNECT] Sütunları sıralamak için yardımcı işlev ekleme
• [SPARK-47570] [SC-161165][ss] Aralık tarama kodlayıcı değişikliklerini zamanlayıcı uygulamasıyla tümleştirme
• [SPARK-47497] [SC-160724][sql] çıkışını to_csv güzel dizeler olarak destekleyin array/struct/map/binary
• [SPARK-47562] [SC-161166][connect] Literal işlemleri ayırma plan.py
• [SPARK-47509] [SC-160902][sql] Lambda ve üst düzey işlevlerde alt sorgu ifadelerini engelleme
• [SPARK-47539] [SC-160750][sql] Yöntemin dönüş değeri castToString'nin Any => UTF8String olması
• [SPARK-47372] [SC-160905][ss] Durum deposu sağlayıcısıyla kullanılmak üzere aralık tarama tabanlı anahtar durumu kodlayıcı desteği eklendi
• [SPARK-47517] [SC-160642][core][SQL] Boyut görüntüleme için Utils.bytesToString'i tercih edin
• [SPARK-47243] [SC-158059][ss] Paketin adını düzeltme StateMetadataSource.scala
• [SPARK-47367] [SC-160913][python][CONNECT] Spark Connect ile veri kaynaklarını Python desteği
• [SPARK-47521] [SC-160666][core] Dış depolamadan karıştırılmış verileri okurken Utils.tryWithResource kullanma
• [SPARK-47474] [SC-160522][core] SPARK-47461'i geri döndürme ve bazı açıklamalar ekleme
• [SPARK-47560] [SC-160914][python][CONNECT] Önbelleğe alınmış şemayla sütun adını doğrulamak için RPC'yi kaçının
• [SPARK-47451] [SC-160749][sql] to_json(variant) desteği.
• [SPARK-47528] [SC-160727][sql] DataTypeUtils.canWrite'e UserDefinedType desteği eklendi
• [SPARK-44708] "[SC-160734][python] assertDataFrameEqual kullanmak için test_reset_index assert_eq geçirme değişikliğini geri al"
• [SPARK-47506] [SC-160740][sql] Harmanlanmış veri türleri için tüm dosya kaynağı biçimlerine destek ekleme
• [SPARK-47256] [SC-160784][sql] Hata sınıflarına ad atama _LEGACY_ERROR_TEMP_102[4-7]
• [SPARK-47495] [SC-160720][core] k8s küme modunda spark.jars'a iki kez eklenen birincil kaynak jar'ı düzelt.
• [SPARK-47398] [SC-160572][sql] İşlevlerin genişletilmesine izin vermek üzere InMemoryTableScanExec için bir özellik ayıklama
• [SPARK-47479] [SC-160623][sql] Birden çok yola sahip ilişkilere veri yazılamaması hatasında iyileştirme yapıldı
• [SPARK-47483] [SC-160629][sql] Harmanlanmış dize dizilerinde toplama ve birleştirme işlemleri için destek ekleme
• [SPARK-47458] [SC-160237][core] Engel aşaması için en yüksek eşzamanlı görevleri hesaplama sorununu düzeltin
• [SPARK-47534] [SC-160737][sql] Şuraya taşı o.a.s.varianto.a.s.types.variant
• [SPARK-47396] [SC-159312][sql] TIME WITHOUT TIME ZONE'ı TimestampNTZType'e çevirmek için genel bir eşleme ekleyin.
• [SPARK-44708] [SC-160734][python] test_reset_index assert_eq'i assertDataFrameEqual kullanacak şekilde geçirme
• [SPARK-47309] [SC-157733][sc-160398][SQL] XML: Değer etiketleri için şema çıkarım testleri ekleme
• [SPARK-47007] [SC-160630][sql] İfadeyi MapSort ekleme
• [SPARK-47523] [SC-160645][sql] Kullanım dışı olan JsonParser#getCurrentName'i JsonParser#currentName ile değiştir.
• [SPARK-47440] [SC-160635][sql] Desteklenmeyen söz dizimini MsSqlServer'a gönderme düzeltildi
• [SPARK-47512] [SC-160617][ss] RocksDB durum deposu örneği kilit alma/yayınlama ile kullanılan etiket işlem türü
• [SPARK-47346] [SC-159425][python] Python planlayıcısı çalışanları oluştururken daemon modunu yapılandırılabilir hale getirme
• [SPARK-47446] [SC-160163][core] BlockManager öncesinde uyarısını yaparak removeBlockInternal
• [SPARK-46526] [SC-156099][sql] Koşullarının yalnızca dış tabloya başvurduğu bağıntılı alt sorgular üzerinde destek LIMIT
• [SPARK-47461] [SC-160297][core] Özel işlevi totalRunningTasksPerResourceProfileExecutorAllocationManager kaldır
• [SPARK-47422] [SC-160219][sql] Dizi işlemlerinde harmanlanmış dizeleri destekleme
• [SPARK-47500] [SC-160627][python][CONNECT] Dışında faktör sütun adını ele alma işlemi plan.py
• [SPARK-47383] [SC-160144][core] Yapılandırma Desteği spark.shutdown.timeout
• [SPARK-47342] [SC-159049] "[SQL] ZAMAN DİLİMİNE SAHİP DB2 TIMESTAMP için TimestampNTZ Desteğini Geri Al"
• [SPARK-47486] [SC-160491][connect] Kullanılmayan özel ArrowDeserializers.getString yöntemi kaldırma
• [SPARK-47233] [SC-154486][connect][SS][2/2] İstemci tarafı akış sorgu dinleyicisi için istemci ve sunucu mantığı
• [SPARK-47487] [SC-160534][sql] AnsiTypeCoercion'da kodu basitleştirme
• [SPARK-47443] [SC-160459][sql] Harmanlamalar için Pencere Toplama desteği
• [SPARK-47296] [SC-160457][sql][COLLATION] İkili olmayan harmanlamalar için desteklenmeyen işlevler başarısız oldu
• [SPARK-47380] [SC-160164][connect] Sunucu tarafında SparkSession'ın aynı olduğundan emin olun
• [SPARK-47327] [SC-160069][sql] Sıralama anahtarlarını eşzamanlılık testini CollationFactorySuite'a taşıma
• [SPARK-47494] [SC-160495][doc] Spark 3.3'ten bu yana Parquet zaman damgası çıkarımının davranış değişikliği için geçiş belgesi ekleme
• [SPARK-47449] [SC-160372][ss] Listeyi/zamanlayıcı birimi testlerini yeniden düzenleme ve bölme
• [SPARK-46473] [SC-155663][sql] Yeniden kullanma getPartitionedFile yöntemi
• [SPARK-47423] [SC-160068][sql] Harmanlamalar - Harmanlamalı dizeler için işlem desteği ayarlama
• [SPARK-47439] [SC-160115][python] API başvuru sayfasında Python Veri Kaynağı API'sini belgele
• [SPARK-47457] [SC-160234][sql] Hadoop 3.4+ ile ilgili düzeltme IsolatedClientLoader.supportsHadoopShadedClient
• [SPARK-47366] [SC-159348][sql] parse_json uygulayın.
• [SPARK-46331] [SC-152982][sql] CodegenFallback'i DateTime ifadelerinin ve version() ifadesinin alt kümesinden kaldırma
• [SPARK-47395] [SC-159404] Diğer API'lere sıralama ve düzenleme ekleme
• [SPARK-47437] [SC-160117][python][CONNECT] için hata sınıfını düzeltme DataFrame.sort*
• [SPARK-47174] [SC-154483][connect][SS][1/2] İstemci tarafı akış sorgu dinleyicisi için sunucu tarafı SparkConnectListenerBusListener
• [SPARK-47324] [SC-158720][sql] JDBC iç içe türleri için eksik zaman damgası dönüştürmesi eklendi
• [SPARK-46962] [SC-158834][ss][PYTHON] Python akış veri kaynağı API'sine arabirim ekleme ve python akış veri kaynağını çalıştırmak için Python çalışanı uygulama
• [SPARK-45827] [SC-158498][sql] Veri türü denetimlerini CreatableRelationProvider'a taşıma
• [SPARK-47342] [SC-158874][sql] ZAMAN DILIMINE SAHIP DB2 TIMESTAMP için Zaman DamgasıNTZ Desteği
• [SPARK-47399] [SC-159378][sql] Harmanlamalarla ifadelerde oluşturulan sütunları devre dışı bırakma
• [SPARK-47146] [SC-158247][core] Sıralama birleştirme yapılırken olası iş parçacığı sızıntısı
• [SPARK-46913] [SC-159149][ss] transformWithState işleciyle işleme/olay süresi tabanlı zamanlayıcılar için destek ekleme
• [SPARK-47375] [SC-159063][sql] içinde zaman damgası eşlemesi için yönergeler ekleme JdbcDialect#getCatalystType
• [SPARK-47394] [SC-159282][sql] H2Dialect için ZAMAN BÖLGESİ İLE ZAMAN DAMGASI desteği
• [SPARK-45827] “[SC-158498][sql] Veri türü denetimlerini ... geri al”
• [SPARK-47208] [SC-159279][core] Temel ek yük belleğinin geçersiz kılınmasına izin ver
• [SPARK-42627] [SC-158021][spark-26494][SQL] YEREL SAAT DILIMI ILE Oracle TIMESTAMP desteği
• [SPARK-47055] [SC-156916][python] MyPy 1.8.0'ı yükseltme
• [SPARK-46906] [SC-157205][ss] Akış için durum bilgisi olan işleç değişikliği denetimi ekleme
• [SPARK-47391] [SC-159283][sql] JDK 8 için test çalışması geçici çözümünü kaldırma
• [SPARK-47272] [SC-158960][ss] State API v2 için MapState uygulaması ekleme.
• [SPARK-47375] [SC-159278][doc][FollowUp] JDBC'nin preferTimestampNTZ seçenek belgesindeki bir hatayı düzeltme
• [SPARK-42328] [SC-157363][sql] Hata sınıflarından _LEGACY_ERROR_TEMP_1175 kaldırma
• [SPARK-47375] [SC-159261][doc][FollowUp] JDBC belgesinde preferTimestampNTZ seçenek açıklamasını düzeltme
• [SPARK-47344] [SC-159146] INVALID_IDENTIFIER hatasını, tırnak içinde olmayan bir tanımlayıcıda '-' yakalanmasının ötesine genişlet ve "IS" hatasını düzelt! NULL" ve diğerleri.
• [SPARK-47340] [SC-159039][sql] StringType tür adındaki "collate" ifadesini küçük harfe dönüştürme
• [SPARK-47087] [SC-157077][sql] Spark'ın yapılandırma değeri kontrolünde hata sınıfıyla istisna oluşturun
• [SPARK-47327] [SC-158824][sql] ICU Collator'da iş parçacığı güvenliği sorunu düzeltildi.
• [SPARK-47082] [SC-157058][sql] Sınır dışı hata koşulunu düzeltme
• [SPARK-47331] [SC-158719][ss] Rastgele Durum API'si v2 için SQL kodlayıcısını temel alan durum sınıfları/temel öğeler/POJO kullanarak serileştirme.
• [SPARK-47250] [SC-158840][ss] RocksDB durum sağlayıcısı ve sütun ailelerinin kullanımı için ek doğrulamalar ve NERF değişiklikleri ekleme
• [SPARK-47328] [SC-158745][sql] UCS_BASIC harmanlamayı UTF8_BINARY olarak yeniden adlandır
• [SPARK-47207] [SC-157845][core] Destek spark.driver.timeout ve DriverTimeoutPlugin
• [SPARK-47370] [SC-158956][doc] Geçiş belgesi ekleme: Parquet dosyalarında TimestampNTZ tür çıkarımı
• [SPARK-47309] [SC-158827][sql][XML] Şema çıkarım birimi testleri ekleme
• [SPARK-47295] [SC-158850][sql] startsWith ve endsWith işlevleri için ICU StringSearch eklendi.
• [SPARK-47343] [SC-158851][sql] Yürütme anında değişken değeri null dize olduğunda NPE'yi düzelt.
• [SPARK-46293] [SC-150117][connect][PYTHON] Geçişli bağımlılığı kullanma protobuf
• [SPARK-46795] [SC-154143][sql] şununla değiştir UnsupportedOperationExceptionSparkUnsupportedOperationException : sql/core
• [SPARK-46087] [SC-149023][python] Belgeler ve geliştirme gereksinimlerinde PySpark bağımlılıklarını eşitleme
• [SPARK-47169] [SC-158848][sql] Sıralanmış sütunlarda gruplamayı devre dışı bırakma
• [SPARK-42332] [SC-153996][sql] ComplexTypeMergingExpression'da gereksinimi SparkException olarak değiştirme
• [SPARK-45827] [SC-158498][sql] Veri türü denetimlerini CreatableRelationProvider'a taşıma
• [SPARK-47341] [SC-158825][connect] SparkConnectClientSuite'da birkaç testte komutları ilişkilerle değiştirme
• [SPARK-43255] [SC-158026][sql] _LEGACY_ERROR_TEMP_2020 hata sınıfını iç hatayla değiştirme
• [SPARK-47248] [SC-158494][sql][COLLATION] Geliştirilmiş dize işlevi desteği: contains
• [SPARK-47334] [SC-158716][sql] withColumnRenamed uygulamasının withColumnsRenamed tarafından yeniden kullanılmasını sağlayın
• [SPARK-46442] [SC-153168][sql] DS V2, PERCENTILE_CONT ve PERCENTILE_DISC fonksiyonlarının aşağıya iletilmesini destekler
• [SPARK-47313] [SC-158747][sql] QueryExecution.toInternalError içinde scala.MatchError işleme eklendi.
• [SPARK-45827] [SC-158732][sql] Java için değişken tekil tür ekleme
• [SPARK-47337] [SC-158743][sql][DOCKER] DB2 docker görüntü sürümünü 11.5.8.0'a yükseltme
• [SPARK-47302] [SC-158609][sql] Tanımlayıcı olarak anahtar sözcüğü harmanla
• [SPARK-46817] [SC-154196][core] spark-daemon.sh kullanımını decommission komutu ekleyerek düzeltme
• [SPARK-46739] [SC-153553][sql] Hata sınıfını ekleme UNSUPPORTED_CALL
• [SPARK-47102] [SC-158253][sql] Yapılandırma bayrağını COLLATION_ENABLED ekleme
• [SPARK-46774] [SC-153925][sql][AVRO] Avro yazma işlerinde kullanım dışı bırakılmış mapred.output.compress yerine mapreduce.output.fileoutputformat.compress kullanın
• [SPARK-45245] [SC-146961][python][CONNECT] PythonWorkerFactory: Çalışan geri bağlanmazsa zaman aşımı.
• [SPARK-46835] [SC-158355][sql][Harmanlamalar] İkili olmayan harmanlamalar için birleştirme desteği
• [SPARK-47131] [SC-158154][sql][COLLATION] Dize işlevi desteği: içerir, ile başlar, ile biter
• [SPARK-46077] [SC-157839][sql] JdbcDialect.compileValue dosyasında TimestampNTZConverter tarafından oluşturulan türü düşünün.
• [SPARK-47311] [SC-158465][sql][PYTHON] PySpark'ın Python yolunda olmadığı Python özel durumlarını gizleme
• [SPARK-47319] [SC-158599][sql] missingInput hesaplamasını iyileştirme
• [SPARK-47316] [SC-158606][sql] Postgres Dizisindeki TimestampNTZ Sorununu Düzelt
• [SPARK-47268] [SC-158158][sql][Harmanlamalar] Harmanlamalarla yeniden bölümlenme desteği
• [SPARK-47191] [SC-157831][sql] Tablo veya görünümün önbellekten çıkarılması sırasında gereksiz ilişki aramalarından kaçının
• [SPARK-47168] [SC-158257][sql] Varsayılan olmayan harmanlanmış dizelerle çalışırken parquet filtre itmesini devre dışı bırakma
• [SPARK-47236] [SC-158015][core] Var olmayan dosya girişini atlama düzeltmesi deleteRecursivelyUsingJavaIO
• [SPARK-47238] [SC-158466][sql] WSCG'de oluşturulan kodu yayın değişkeni yaparak yürütücü bellek kullanımını azaltma
• [SPARK-47249] [SC-158133][connect] Gerçek durumlarına bakılmaksızın tüm bağlantı çalışmalarının terk edilmiş kabul edildiği hatayı düzelt.
• [SPARK-47202] [SC-157828][python] tzinfo ile tarih ve saat bilgilerini etkileyen hatayı düzeltme
• [SPARK-46834] [SC-158139][sql][Harmanlamalar] Toplama desteği
• [SPARK-47277] [SC-158351][3.5] PySpark yardımcı işlevi assertDataFrameEqual akış DF'sini desteklememelidir
• [SPARK-47155] [SC-158473][python] Hata Sınıfı Sorununu Düzeltme
• [SPARK-47245] [SC-158163][sql] INVALID_PARTITION_COLUMN_DATA_TYPE için hata kodunu geliştirme
• [SPARK-39771] [SC-158425][core] Çok fazla sayıda karıştırma bloğu oluşturulacaksa içine uyarı iletisi Dependency ekleyin.
• [SPARK-47277] [SC-158329] PySpark yardımcı işlevi assertDataFrameEqual akış DF'sini desteklememelidir
• [SPARK-47293] [SC-158356][core] SparkSchema kullanarak tek tek eklemek yerine batchSchema derlemek
• [SPARK-46732] [SC-153517][connect]Subquery/Broadcast iş parçacığının Connect'in yapıt yönetimiyle çalışmasını sağlama
• [SPARK-44746] [SC-158332][python] Giriş tablolarını kabul eden işlevler için daha fazla Python UDTF belgesi ekleyin
• [SPARK-47120] [SC-157517][sql] Null karşılaştırma alt sorgudan veri filtresini iterek Parquet filtresinde NPE'ye neden oluyor.
• [SPARK-47251] [SC-158291][python] args komutu için sql bağımsız değişkeninden geçersiz türlerin engellenmesi
• [SPARK-47251] "[SC-158121][python] Komutun args bağımsız değişkeninden sql geçersiz türleri engellemeyi geri al"
• [SPARK-47015] [SC-157900][sql] Sıralanmış sütunlarda bölümlemeyi devre dışı bırakma
• [SPARK-46846] [SC-154308][core] Genişletmeyi açıkça yapma WorkerResourceInfoSerializable
• [SPARK-46641] [SC-156314][ss] maxBytesPerTrigger eşiği ekleme
• [SPARK-47244] [SC-158122][connect] SparkConnectPlanner iç işlevleri özel hale getirme
• [SPARK-47266] [SC-158146][connect] Girişle ProtoUtils.abbreviate aynı türü döndür
• [SPARK-46961] [SC-158183][ss] işleyiciyi depolamak ve almak için ProcessorContext kullanma
• [SPARK-46862] [SC-154548][sql] Çok satırlı modda CSV sütun ayıklamayı devre dışı bırakma
• [SPARK-46950] [SC-155803][core][SQL] Hata sınıfını hizala not available codec
• [SPARK-46368] [SC-153236][core] REST Gönderim API'sinde destek readyz
• [SPARK-46806] [SC-154108][python] Bağımsız değişken türü yanlış olduğunda spark.table için hata iletisini geliştirme
• [SPARK-47211] [SC-158008][connect][PYTHON] Yoksayılan PySpark Connect dize harmanlamasını düzeltme
• [SPARK-46552] [SC-151366][sql] şununla değiştir UnsupportedOperationExceptionSparkUnsupportedOperationException : catalyst
• [SPARK-47147] [SC-157842][python][SQL] PySpark harmanlanmış dize dönüştürme hatası düzeltildi
• [SPARK-47144] [SC-157826][connect][SQL][python] collateId protobuf alanı ekleyerek Spark Connect harmanlama hatasını düzeltme
• [SPARK-46575] [SC-153200][sql][HIVE] HiveThriftServer2.startWithContext DevelopApi'nin tekrar denenebilir olmasını sağlamak ve ThriftServerWithSparkContextInHttpSuite'deki tutarsızlığı düzeltmek
• [SPARK-46696] [SC-153832][core] ResourceProfileManager'da işlev çağrıları değişken bildirimlerinden sonra gerçekleşmelidir
• [SPARK-47214] [SC-157862][python] Sabit NULL bağımsız değişkenlerini ve diğer bağımsız değişken türlerini ayırt etmek için 'çözümle' yöntemi için UDTF API'sini oluşturma
• [SPARK-46766] [SC-153909][sql][AVRO] AVRO veri kaynağı için ZSTD Buffer Pool Desteği
• [SPARK-47192] [SC-157819] Bazı _LEGACY_ERROR_TEMP_0035 hatalarını dönüştürme
• [SPARK-46928] [SC-157341][ss] Arbitrary State API v2'de ListState desteği eklendi.
• [SPARK-46881] [SC-154612][core] Desteği spark.deploy.workerSelectionPolicy
• [SPARK-46800] [SC-154107][core] Desteği spark.deploy.spreadOutDrivers
• [SPARK-45484] [SC-146014][sql] Yanlış parquet sıkıştırma codec'i lz4raw kullanan hatayı düzeltin
• [SPARK-46791] [SC-154018][sql] JavaTypeInference'ta Küme Java Desteği
• [SPARK-46332] [SC-150224][sql] Hata sınıfına geçiş CatalogNotFoundExceptionCATALOG_NOT_FOUND
• [SPARK-47164] [SC-157616][sql] v2'nin Geniş Türden Gelen Varsayılan Değerinin Dar Değişmez Değeri v1 ile aynı şekilde davranır
• [SPARK-46664] [SC-153181][core] Sıfır çalışan ve uygulama durumunda hızla kurtarmayı geliştirme Master
• [SPARK-46759] [SC-153839][sql][AVRO] Avro dosyaları için codec xz ve zstandard, sıkıştırma düzeyini destekler.

Databricks ODBC/JDBC sürücü desteği

Databricks, son 2 yılda yayımlanan ODBC/JDBC sürücülerini destekler. Lütfen son yayınlanan sürücüleri indirin ve yükseltin (ODBC'yi indirin, JDBC'yi indirin).

Bkz . Databricks Runtime 15.2 bakım güncelleştirmeleri.

Sistem ortamı

• İşletim Sistemi: Ubuntu 22.04.4 LTS
• Java: Zulu 8.74.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.11.0
• R: 4.3.2
• Delta Gölü: 3.2.0

Yüklü Python kitaplıkları

Yüklü R kitaplıkları

R kitaplıkları Posit Paket Yöneticisi CRAN anlık görüntüsünden yüklenir.

Yüklü Java ve Scala kitaplıkları (Scala 2.12 küme sürümü)