Databricks Runtime 13.2 (EoS)

Aşağıdaki sürüm notları, Apache Spark 3.4.0 tarafından desteklenen Databricks Runtime 13.2 hakkında bilgi sağlar.

Databricks bu sürümü Temmuz 2023'te yayımladı.

Yeni özellikler ve geliştirmeler

• RocksDB durum deposu için değişiklik günlüğü denetim noktası oluşturma
• Unity Kataloğu'nda sığ kopya ile VACUUM için gelişmiş güvenilirlik.
• SQL'de Python UDF'leri için destek
• Apache Iceberg için Delta Lake UniForm genel önizlemede
• Delta Lake sıvı kümeleme genel önizleme aşamasındadır
• Azure Databricks'te Arşiv Desteği
• IDENTIFIER koşul desteği
• Unity Catalog, Python ve Pandas Kullanıcı Tanımlı Fonksiyonları (UDF) için destek.
• Delta Paylaşımı'nı kullanarak şemaları paylaşma
• Hata düzeltmeleri

RocksDB durum deposu için değişiklik günlüğü denetim noktalarının oluşturulması

Durum bilgisine sahip Yapılandırılmış Akış iş yükleri için denetim noktası süresini ve uçtan uca gecikmeyi azaltmak amacıyla değişiklik günlüğü denetim noktası oluşturmayı etkinleştirebilirsiniz. Databricks, tüm Yapılandırılmış Akış durum bilgisi sorguları için değişiklik günlüğü denetim noktası oluşturmanın etkinleştirilmesini önerir. Bkz. Değişiklik günlüğü denetim noktasını etkinleştirme.

Unity Catalog'ta shallow clone kullanılarak VACUUM için geliştirilmiş güvenilirlik.

Basit bir kopyalama işleminin kaynağı ve hedefi için Unity Kataloğu yönetilen tabloları kullandığınızda, Unity Kataloğu kopyalama işleminin kaynağı ve hedefi için güvenilirliği artırmak için temel alınan veri dosyalarını yönetir. Kısmi bir kopyanın kaynağında VACUUM'ı çalıştırmak, kopyalanan tabloyu bozmaz. Bkz. Unity Kataloğu basit kopyalarıyla kullanmaVACUUM.

SQL'de Python UDF desteği

Artık Unity Kataloğu'ndaki SQL CREATE FUNCTION deyimleri içindeki Python kullanarak kullanıcı tanımlı işlevleri bildirebilirsiniz. Bkz. Unity Kataloğu'nda SQL ve Python kullanıcı tanımlı işlevler (UDF' ler).

Apache Iceberg için Delta Lake UniForm genel önizlemede

Delta Lake Universal Format (UniForm), Apache Iceberg istemcileriyle Delta tablolarını okumanızı sağlar. Bkz. UniForm kullanarak Iceberg istemcileri ile Delta Lake tablolarını okuma.

Delta Lake sıvı kümeleme genel önizleme aşamasındadır

Delta Lake sıvı kümeleme, veri düzeni kararlarını basitleştirmek ve ZORDER sorgu performansını iyileştirmek için tablo bölümlemenin yerini alır. Bkz Tablolar için sıvı kümeleme kullanma.

Azure Databricks'de arşiv desteği

Azure Databricks'daki arşiv desteği, dosyaları arşiv depolama katmanlarına taşımak için Delta tabloları içeren bulut nesne depolamasında bulut tabanlı yaşam döngüsü ilkelerini kullanmanızı sağlayan bir özellik koleksiyonu sunar. Bakınız Azure Databricks'te Arşivleme desteği.

IDENTIFIER yan tümcesi desteği

Birçok SQL deyiminde tablo, sütun, işlev ve şema adlarını güvenli bir şekilde parametreleştirmek için IDENTIFIER(:mytable) kullanın.

Python ve Pandas'a özgü Kullanıcı Tanımlı Fonksiyonlar (UDF) için Unity Catalog desteği

Databricks Runtime 13.2 ve üzerinde, Python yazılan kullanıcı tanımlı işlevler (UDF), Unity Kataloğu özellikli çalışma alanında standart erişim modunu (eski adı paylaşılan erişim modu) kullanan kümelerde desteklenir. Buna Python ve Pandas UDF'leri dahildir. Python UDF'ler hakkında ayrıntılı bilgi için bkz. Python skaler kullanıcı tanımlı işlevler (UDF).

Delta Paylaşımı'nı kullanarak şemaları paylaşma

Databricks Runtime 13.2, Delta Sharing kullanarak şemanın tamamını paylaşmak için ALTER SHARE <share-name> ADD SCHEMA <schema-name> kullanma olanağını ekler ve alıcıya şemayı paylaştığınız anda şemadaki tüm tablolara ve görünümlere ve gelecekte şemaya eklenen tüm tablolara ve görünümlere erişim verir. Bkz. Paylaşıma şema ekleme ve ALTER SHARE.

Hata düzeltmeleri

• PERMISSIVE etkinleştirildiğinde kayıtların failOnUnknownFieldsmode modunda ayrıştırıldığı JSON okuyucuyla ilgili bir hata düzeltildi. Kayıtlar artık DROPMALFORMEDparser modunda kaydedilmez veya bu seçeneklerden herhangi biri ayarlandıysa kayıtlar badRecordsPathdosyasına yazılır. FAILFAST bir sütun türü eşleşmiyorsa hata oluşturur.

Kitaplık yükseltmeleri

• Yükseltilmiş Python kitaplıkları:
  • nodeenv 1.7.0 ile 1.8.0
• Güncellenmiş R kütüphaneleri:
• Yükseltilmiş Java kitaplıkları:
  • 0.6.7 ile 0.7.0 arasındaki io.delta.delta-sharing-spark_2.12

Apache Spark

Databricks Runtime 13.2, Apache Spark 3.4.0'ı içerir. Bu sürüm, Databricks Runtime 13.1'de (EoS) bulunan tüm Spark düzeltmeleri ve iyileştirmelerinin yanı sıra Spark'ta yapılan aşağıdaki ek hata düzeltmelerini ve iyileştirmeleri içerir:

• [SPARK-42750] [SC-133452][dbrrm-273] Add By Name deyimini destekleme
• [SPARK-43133] [SC-133728] Scala İstemcisi DataStreamWriter Foreach desteği
• [SPARK-43663] [SC-134135][connect][PS] Etkinleştir SeriesParityTests.test_compare
• [SPARK-43684] [SC-134162][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Spark Connect için düzeltme (NullOps|NumOps).(eq|ne) .
• [SPARK-44021] [SC-134109][sql] spark.sql.files.maxPartitionNum eklensin
• [SPARK-43910] [SC-132936][sql] Hatalardaki kimliklerden __auto_generated_subquery_name öğesini çıkarma
• [SPARK-43976] [SC-133375][core] Olay günlüklerinde modifiedConfigs'in mevcut olmadığı durumu işleme
• [SPARK-32559] [SC-133992][sql] Kırpma mantığının ASCII denetim karakterlerini doğru işlemediğini düzeltme
• [SPARK-43421] [SC-132930][ss] RocksDB Durum Deposu Sağlayıcısı için Changelog tabanlı Checkpointing uygulama
• [SPARK-43594] [SC-133851][sql] anyToMicros'a LocalDateTime ekleme
• [SPARK-43884] [SC-133867] DDL'deki parametre işaretçileri
• [SPARK-43398] [SC-133894][core] Yürütücü zaman aşımı, boşta bekleyen shuffle ve RDD zaman aşımlarının maksimum değeri olmalıdır.
• [SPARK-43610] [SC-133892][connect][PS] Spark Connect'te etkinleştir InternalFrame.attach_distributed_column .
• [SPARK-43971] [SC-133826][connect][PYTHON] Python oluşturmaDataFrame'ini akışla destekleme
• [SPARK-44006] [SC-133652][connect][PYTHON] Önbellek yapıtlarını destekleme
• [SPARK-43790] [SC-133468][python][CONNECT][ml] API ekleme copyFromLocalToFs
• [SPARK-43921] [SC-133461][protobuf] Derleme zamanında Protobuf tanımlayıcı dosyaları oluşturma
• [SPARK-43906] [SC-133638][sc-133404][PYTHON][connect] SparkSession.addArtifacts'te dosya desteğini uygulama
• [SPARK-44010] [SC-133744][python][SS][minör] Python StreamingQueryProgress rowsPerSecond tipini düzeltme
• [SPARK-43768] [SC-132398][python][CONNECT] Python Spark Connect'te bağımlılık yönetimi desteği Python
• [SPARK-43979] [13.X] Revert "[SC-133456][sql] CollectedMetrics kendi kendine birleştirme için aynı değer olarak ele alınmalıdır"
• [SPARK-42290] [SC-133696][sql] AQE açıkken OOM hatasının bildirilememesi sorununu düzeltme
• [SPARK-43943] [SC-133648][sql][PYTHON][connect] Scala'ya SQL matematik işlevleri ekleme ve Python
• [SPARK-43747] [SC-132047][python][CONNECT] SparkSession.addArtifacts'te pyfile desteğini uygulama
• [SPARK-43700] [SC-133726][spark-43701][CONNECT][ps] Spark Connect ile etkinleştirme TimedeltaOps.(sub|rsub)
• [SPARK-43712] [SC-133641][spark-43713][CONNECT][ps] Eşlik testini etkinleştir: test_line_plot, test_pie_plot.
• [SPARK-43867] [SC-132895][sql] Çözümlenmemiş öznitelik için önerilen adayları geliştirme
• [SPARK-43901] [SC-133454][sql] Avro, Long ile desteklenen özel ondalık türünü destekleyecek
• [SPARK-43267] [SC-133024][jdbc] Postgres bilinmeyen kullanıcı tanımlı sütunu dizide dize olarak işleme
• [SPARK-43935] [SC-133637][sql][PYTHON][connect] Scala ve Python xpath_* işlevleri ekleme
• [SPARK-43916] [SC-133647][sql][PYTHON][connect] Scala ve Python API'sine yüzdebirlik ekleme
• [SPARK-43717] [SC-133455][connect] Scala istemci azaltma agg, scala temel girişleri için null bölümleri işleyemez
• [SPARK-43984] [SC-133469][sql][PROTOBUF] foreach sonuç üretmediğinde map kullanılmak üzere değiştirildi
• [SPARK-43612] [SC-132011][connect][PYTHON] Python istemcisinde SparkSession.addArtifact(ler) işlevinin uygulanması
• [SPARK-44002] [SC-133606][connect] Yapıt durumları işleyicisini düzeltme
• [SPARK-43933] [SC-133470][sql][PYTHON][connect] Scala ve Python doğrusal regresyon toplama işlevleri ekleme
• [SPARK-43920] [SC-133614][sql][CONNECT] Sql/api modülü oluşturma
• [SPARK-43979] [SC-133456][sql] CollectedMetrics kendi kendine birleşim için aynı değer olarak ele alınmalıdır
• [SPARK-43977] [SC-133373][connect] Beklenmeyen denetim sonucu düzeltildi dev/connect-jvm-client-mima-check
• [SPARK-43985] [SC-133412][protobuf] spark protobuf: enum değerlerini int hatası olarak düzeltme
• [SPARK-43930] [SC-133406][sql][PYTHON][connect] Scala ve Python unix_* işlevleri ekleme
• [SPARK-43807] [SC-132545][sql] _LEGACY_ERROR_TEMP_1269'un PARTITION_SCHEMA_IS_EMPTY'e taşınması
• [SPARK-43956] [SC-133123][sql] Hata düzeltildi Yüzdebirlik için sütunun SQL'i görüntülenmiyor[Cont|Disk]
• [SPARK-42626] [SC-133248][connect] SparkResult için Yıkıcı Yineleyici ekleme
• [SPARK-43333] [SC-132898][sql] Avro'nun union tipini alan adı tür ile tutarlı olacak şekilde SQL'e dönüştürmesine izin ver
• [SPARK-43953] [SC-133134][connect] Kaldır pass
• [SPARK-43970] [SC-133403][python][CONNECT] Desteklenmeyen veri çerçevesi yöntemlerini otomatik tamamlamadan gizleme
• [SPARK-43973] [SC-133272][ss][UI] Yapılandırılmış Akış Kullanıcı Arabirimi başarısız sorguları doğru görüntülemelidir
• [SPARK-42577] [SC-125445][core] Olası sonsuz yeniden denemeleri önlemek için aşamalar için maksimum deneme sınırlaması eklendi
• [SPARK-43841] [SC-132699][sql] içinde ön ek olmadan aday özniteliklerini işleme StringUtils#orderSuggestedIdentifiersBySimilarity
• [SPARK-41497] [SC-124795][core][Takip] Yapılandırma spark.rdd.cache.visibilityTracking.enabled desteği sürümünü 3.5.0 olarak değiştirme
• [SPARK-37942] [SC-130983][core][SQL] Hata sınıflarını geçirme
• [SPARK-43898] [SC-132926][core] Scala 2.13'e immutable.ArraySeq$ofRef otomatik olarak kaydol KryoSerializer
• [SPARK-43775] [SC-132891][sql] DataSource V2: Güncelleştirmeleri silme ve ekleme olarak temsil etmeye izin ver
• [SPARK-43817] [SC-132662][spark-43702][PYTHON] pandas DataFrame ve toPandas'tan createDataFrame'de UserDefinedType desteği
• [SPARK-43418] [SC-132753][sc-130685][CONNECT] SparkSession.Builder.getOrCreate Ekleyin
• [SPARK-43549] [SC-132383][sql] _LEGACY_ERROR_TEMP_0036'i INVALID_SQL_SYNTAX.ANALYZE_TABLE_UNEXPECTED_NOSCAN'a dönüştürme
• [SPARK-41497] [SC-124644][core] Rdd önbelleğiyle yeniden deneme görevi söz konusu olduğunda akümülatör alt sayımı düzeltildi
• [SPARK-43892] [SC-133006][python] df[|] içinde pyspark.sql.dataframe.DataFrame için otomatik tamamlama desteği ekleme
• [SPARK-43881] [SC-133140][sql][PYTHON][connect] Catalog.listDatabases için isteğe bağlı desen ekleme
• [SPARK-43205] [SC-132623] IDENTIFIER yan tümcesi
• [SPARK-43545] [SC-132378][sql][PYTHON] İç içe zaman damgası türünü destekleme
• [SPARK-43949] [SC-133048][python] cloudpickle'i 2.2.1 sürümüne yükseltme
• [SPARK-43760] [SC-132809][sql] Skaler alt sorgu sonuçlarının null atanabilirliği
• [SPARK-43696] [SC-132737][spark-43697][SPARK-43698][spark-43699][PS] Spark Connect düzeltmesi TimedeltaOps
• [SPARK-43895] [SC-132897][connect][GO] Go paket yolunu hazırlama
• [SPARK-43894] [SC-132892][python] df.cache() hatası düzeltildi
• [SPARK-43509] [SC-131625][connect] Birden çok Spark Connect oturumu oluşturma desteği
• [SPARK-43882] [SC-132888][sql] _LEGACY_ERROR_TEMP_2122'ye bir isim ata
• [SPARK-43687] [SC-132747][spark-43688][SPARK-43689][spark-43690][PS] Spark Connect düzeltmesi NumOps
• [SPARK-43604] [SC-132165][sql] Hata metnini kaynak koduna eklemekten kaçınmak için yeniden düzenleme INVALID_SQL_SYNTAX
• [SPARK-43859] [SC-132883][sql] LateralColumnAliasReference içinde ToString'i geçersiz kılma
• [SPARK-43792] [SC-132939][sql][PYTHON][connect] Catalog.listCatalogs için isteğe bağlı desen ekleme
• [SPARK-43353] “[SC-132734][python] Kalan oturum hatalarını hata sınıfına geçirme işlemini geri al”
• [SPARK-43375] [SC-130309][connect] INVALID_CONNECT_URL için hata iletilerini geliştirme
• [SPARK-43863] [SC-132721][connect] Scala 2.13 için gereksiz toSeq öğesini SparkConnectPlanner'den kaldır.
• [SPARK-43676] [SC-132708][spark-43677][SPARK-43678][spark-43679][PS] Spark Connect düzeltmesi DatetimeOps
• [SPARK-43666] [SC-132689][spark-43667][SPARK-43668][spark-43669][PS] Spark Connect düzeltmesi BinaryOps
• [SPARK-43680] [SC-132709][spark-43681][SPARK-43682][spark-43683][PS] Spark Connect düzeltmesi NullOps
• [SPARK-43782] [SC-132885][core] Statik Spark konfisi ile günlük düzeyi yapılandırmasını destekleme
• [SPARK-43132] [SC-131623] [SS] [CONNECT] Python client DataStreamWriter foreach() API'si
• [SPARK-43290] [SC-131961][sql] ExpressionImplUtils'e AES IV ve AAD desteği ekler
• [SPARK-43795] [SC-132532][connect] SparkConnectPlanner için kullanılmayan parametreleri kaldırma
• [SPARK-42317] [SC-129194][sql] _LEGACY_ERROR_TEMP_2247'ye isim atanması: CANNOT_MERGE_SCHEMAS
• [SPARK-43597] [SC-131960][sql] Hata sınıfına bir ad atama _LEGACY_ERROR_TEMP_0017
• [SPARK-43834] [SC-132679][sql] derleme hatalarında hata sınıflarını kullanma ResolveDefaultColumns
• [SPARK-43749] [SC-132423][spark-43750][SQL] Hata sınıfına ad atama _LEGACY_ERROR_TEMP_240[4-5]
• [SPARK-43576] [SC-132533][core] Çekirdek modülünden kullanılmayan bildirimleri kaldırma
• [SPARK-43314] [SC-129970][connect][PYTHON] Spark Connect istemci hatalarını hata sınıfına geçirme
• [SPARK-43799] [SC-132715][python] Pyspark Protobuf API'sine tanımlayıcı ikili seçeneği ekleme
• [SPARK-43837] [SC-132678][sql] Hata sınıfına ad atama _LEGACY_ERROR_TEMP_103[1-2]
• [SPARK-43862] [SC-132750][sql] LEGACY_ERROR_TEMP(1254 & 1315) hata sınıfına bir ad atayın
• [SPARK-43886] [SC-132808][python] Pandas UDF'nin çözümleme ipuçları olarak genel demet kabul etme
• [SPARK-43530] [SC-132653][protobuf] Tanımlayıcı dosyasını yalnızca bir kez okuma
• [SPARK-43820] [SC-132676][spark-43822][SPARK-43823][spark-43826][SPARK-43827] _LEGACY_ERROR_TEMP_241 hata sınıfına ad atama[1-7]
• [SPARK-43671] [SC-132519][spark-43672][SPARK-43673][spark-43674][PS] Spark Connect düzeltmesi CategoricalOps
• [SPARK-39979] [SC-132685][sql] Ok UDF işlemleri için büyük değişken genişlik vektörleri kullanma seçeneği eklendi
• [SPARK-43692] [SC-132660][spark-43693][SPARK-43694][spark-43695][PS] Spark Connect düzeltmesi StringOps
• [SPARK-43353] [SC-132734][python] Kalan oturum hatalarını hata sınıfına geçirme
• [SPARK-43815] [SC-132781][sql] için diğer ad ekleme to_varcharto_char
• [SPARK-43543] [13.x][sc-131839][PYTHON] Pandas UDF'de iç içe MapType davranışını düzeltme
• [SPARK-43361] [SC-131789][protobuf] enum serileştirmeyle ilgili hatalar için belgeleri güncelleyin
• [SPARK-43740] [SC-132035][python][CONNECT] Desteklenmeyen session yöntemleri otomatik tamamlamadan gizleme
• [SPARK-43022] [SC-131681][connect] Scala istemcisi için protobuf işlevlerini destekleme
• [SPARK-43304] [13.x][sc-129969][CONNECT][python] NotImplementedError'den PySparkNotImplementedError'ye geçiş
• [SPARK-43860] [SC-132713][sql] Mümkün olduğunca kuyruk özyinelemeyi etkinleştirin.
• [SPARK-42421] [SC-132695][core] Yerel denetim noktasında kullanılan dinamik ayırma için anahtarı almak amacıyla yardımcı programları kullanın.
• [SPARK-43590] [SC-132012][connect] connect-jvm-client-mima-check modülü ile mima kontrolünü desteklemek için protobuf yapın.
• [SPARK-43315] [13.x][connect][PYTHON][ss] Kalan hataları DataFrame(Okuyucu|Yazıcı)'dan hata sınıfına taşıma
• [SPARK-43361] [SC-130980][protobuf] spark-protobuf: enum'ları tam sayı olarak seri hale getirmeye izin ver
• [SPARK-43789] [SC-132397][r] R createDataFrame'de varsayılan olarak 'spark.sql.execution.arrow.maxRecordsPerBatch' parametresini Arrow ile kullanır
• [SPARK-43596] [SC-126994][sql] RewriteDomainJoins'de IsNull koşulunu ele al
• [SPARK-42249] [SC-122565][sql] Hata iletilerindeki belgeler için html bağlantısını iyileştirme.
• [SPARK-43128] [SC-131628][connect][SS] recentProgress ve lastProgress 'nin yerel Scala Api'siyle tutarlı şekilde StreamingQueryProgress döndürülmesini sağla
• [SPARK-43387] [SC-130448][sql] _LEGACY_ERROR_TEMP_1168 için okunabilir bir hata kodu sağlayın.
• [SPARK-43334] [SC-132358] [UI] ExecutorPeakMetricsDistributions API yanıtına serileştirilirken oluşan hata düzeltildi.
• [SPARK-42958] [SC-131475][connect] Avro modülüyle mima denetimini desteklemek için yeniden düzenleme connect-jvm-client-mima-check
• [SPARK-43591] [SC-131977][sql] Hata sınıfına ad atama _LEGACY_ERROR_TEMP_0013
• [SPARK-38464] [SC-132211][core] org.apache.spark.io'de hata sınıflarını kullanma
• [SPARK-43759] [SC-132189][sql][PYTHON] pyspark.sql.types içinde TimestampNTZType'ı kullanıma sunma
• [SPARK-43649] [SC-132036][spark-43650][SPARK-43651][sql] Hata sınıfına ad atama _LEGACY_ERROR_TEMP_240[1-3]
• [SPARK-43719] [SC-132016][webui] missing row.excludedInStages alanını işleme
• [SPARK-42956] [SC-127257][connect] Scala istemci için avro işlevlerine destek
• [SPARK-43487] [SC-131975][sql] İç İçe CTE hata iletisini düzeltme
• [SPARK-43265] [SC-129653] Hata çerçevesini ortak bir yardımcı program modülüne taşıma
• [SPARK-40912] [SC-131547][core]KryoDeserializationStream'de Özel Durumların Ek Yükü
• [SPARK-43583] [SC-131976][core] SaslRpcHandler örneği yerine temsilciden MergedBlockedMetaReqHandler alma
• [SPARK-42996] [SC-131997][connect][PS][ml] Tüm başarısız testler için uygun JIRA biletleri oluşturun ve atayın.
• [SPARK-38469] [SC-131425][core] org.apache.spark.network içinde hata sınıfını kullanma
• [SPARK-43718] [SC-132014][sql] USING joins içindeki anahtarlar için null olabilirliği doğru şekilde ayarlama
• [SPARK-43502] [SC-131419][python][CONNECT] DataFrame.drop boş sütunu kabul etmelidir
• [SPARK-43743] [SC-132038][sql] HIVE-12188 bağlantı noktası (DoAs kerberos güvenli olmayan HS2'de düzgün çalışmıyor)
• [SPARK-43598] [SC-131929][sql] Hata sınıfına ad atama _LEGACY_ERROR_TEMP_2400
• [SPARK-43138] [SC-131031][core] Geçiş sırasında ClassNotFoundException düzeltildi
• [SPARK-43360] [SC-131526][ss][CONNECT] Scala istemcisi StreamingQueryManager
• [SPARK-38467] [SC-131025][core] org.apache.spark.memory dosyasında hata sınıflarını kullanma
• [SPARK-43345] [SC-131790][spark-43346][SQL] Hata sınıflarını yeniden adlandırma LEGACY_ERROR_TEMP[0041|1206]
• [SPARK-42815] [SC-126450][sql] Alt ifade eleme desteği kısayol ifadesi
• [SPARK-38462] [SC-130449][core] INTERNAL_ERROR_EXECUTOR hata sınıfını ekle
• [SPARK-43589] [SC-131798][sql] cannotBroadcastTableOverMaxTableBytesError'i bytesToString kullanacak şekilde düzeltme
• [SPARK-43539] [SC-131830][sql] Hata sınıfına ad atama _LEGACY_ERROR_TEMP_0003
• [SPARK-43157] [SC-131688][sql] Kopyalanan planın aynı nesnelere başvurmasını önlemek için InMemoryRelation önbelleğe alınmış planının kopyasını oluştur.
• [SPARK-43309] [SC-129746][spark-38461][CORE] kategorilerle INTERNAL_ERROR'ı genişletme ve hata sınıfı INTERNAL_ERROR_BROADCAST ekleme
• [SPARK-43281] [SC-131370][sql] Eşzamanlı yazıcının dosya ölçümlerini güncelleştirmemesi düzeltildi
• [SPARK-43383] [SC-130660][sql] LocalRelation'a istatistik ekleme rowCount
• [SPARK-43574] [SC-131739][python][SQL] Çalışma zamanı sırasında çalışanlarda UDF ve pandas işlev API'leri için Python yürütülebilir dosya ayarlama desteği
• [SPARK-43569] [SC-131694][sql] HADOOP-14067 için geçici çözümü kaldırma
• [SPARK-43183] [SC-128938][ss][13.x] StreamingQueryListener'a yeni bir geri çağırma işlevi "onQueryIdle" tanıtın
• [SPARK-43528] [SC-131531][sql][PYTHON] pandas DataFrame ile createDataFrame'de yinelenen alan adlarını destekleme
• [SPARK-43548] [SC-131686][ss] HADOOP-16255 için geçici çözümü kaldırma
• [SPARK-43494] [SC-131272][core] içinde yansıma yerine replicate()'de HdfsDataOutputStreamBuilder için SparkHadoopUtil#createFile doğrudan çağırın.
• [SPARK-43471] [SC-131063][core] Eksik hadoopProperties ve metricsProperties işleme
• [SPARK-42899] [SC-126456][sql] DataFrame.to(şema) boş değer atanabilir bir alanda boş değer atanamaz iç içe geçmiş bir alan bulunduğu durumları ele alacak şekilde düzeltildi.
• [SPARK-43302] [SC-129747][sql] Python UDAF'in AggregateFunction Yapılması
• [SPARK-43223] [SC-131270][connect] Yazılan agg, azaltma işlevleri, RelationalGroupedDataset#as
• [SPARK-43482] [SC-131375][ss] QueryTerminatedEvent'i özel durumda varsa hata sınıfı içerecek şekilde genişletin
• [SPARK-43359] [SC-131463][sql] Hive tablosundan silme işlemi “UNSUPPORTED_FEATURE.TABLE_OPERATION” hatası vermelidir.
• [SPARK-43284] [SC-130313] Url ile kodlanmış dizelere geri dönme
• [SPARK-43492] [SC-131227][sql] 3 argümanlı işlev diğer adlarını ekleme DATE_ADD ve DATE_DIFF
• [SPARK-43473] [SC-131372][python] pandas DataFrame'den createDataFrame oluştururken yapı türünü destekleme
• [SPARK-43386] [SC-131110][sql] Hata sınıfında önerilen sütun/özniteliklerin UNRESOLVED_COLUMN.WITH_SUGGESTION listesini geliştirme
• [SPARK-43443] [SC-131332][sql] Geçersiz değer kullanıldığında Zaman damgası türü çıkarımı için karşılaştırma ekleme
• [SPARK-43518] [SC-131420][sql] _LEGACY_ERROR_TEMP_2029 öğesini INTERNAL_ERROR'a dönüştür
• [SPARK-42604] [SC-130648][connect] functions.typedlit işlevini uygulama
• [SPARK-42323] [ES-669513] "[SC-123479][sql] Atama adı _LEGACY_ERROR_TEMP_2332" geri al"
• [SPARK-43357] [SC-130649][sql] Tarih türü alıntı tarihini filtreleme
• [SPARK-43410] [SC-130526][sql] Packed skipValues için vektörleştirilmiş döngü iyileştirildi
• [SPARK-43441] [SC-130995][core] makeDotNode DeterministicLevel olmadığında başarısız olmamalıdır
• [SPARK-43324] [SC-130455][sql] Delta tabanlı kaynaklar için UPDATE komutlarını işleme
• [SPARK-43272] [SC-131168][core] Yansıma yerine doğrudan çağrı createFile
• [SPARK-43296] [13.x][sc-130627][CONNECT][python] Spark Connect oturum hatalarını hata sınıfına geçirme
• [SPARK-43405] [SC-130987][sql] Gereksiz getRowFormatSQL, , inputRowFormatSQLoutputRowFormatSQL yöntemini kaldırma
• [SPARK-43447] [SC-131017][r] R 4.3.0 desteği
• [SPARK-43425] [SC-130981][sql] Ekle TimestampNTZTypeColumnarBatchRow
• [SPARK-41532] [SC-130523][connect][CLIENT] Birden çok veri çerçevesi içeren işlemler için denetim ekleme
• [SPARK-43262] [SC-129270][connect][SS][python] Spark Connect Yapılandırılmış Akış hatalarını hata sınıfına geçirme
• [SPARK-42992] [13.x][sc-129465][PYTHON] PySparkRuntimeError'ı Tanıtma
• [SPARK-43422] [SC-130982][sql] LogicalRelation üzerinde etiketleri metadata çıktısıyla tutma
• [SPARK-43390] [SC-130646][sql] DSv2, CTAS/RTAS işlemlerinin şema null yapabilirliğini ayırmasına izin verir
• [SPARK-43430] [SC-130989][connect][PROTO] ExecutePlanRequest rastgele istek seçeneklerini destekler.
• [SPARK-43313] [SC-130254][sql] BIRLEŞTIRME INSERT eylemleri için eksik sütun VARSAYıLAN değerleri ekleniyor
• [SPARK-42842] [SC-130438][sql] _LEGACY_ERROR_TEMP_2006 hata sınıfını REGEX_GROUP_INDEX ile birleştir
• [SPARK-43377] [SC-130405][sql] Varsayılan olarak etkinleştir spark.sql.thriftServer.interruptOnCancel
• [SPARK-43292] [SC-130525][core][CONNECT] ExecutorClassLoadercore modülüne taşıma ve Executor#addReplClassLoaderIfNeeded basitleştirme
• [SPARK-43040] [SC-130310][sql] JDBC veri kaynağında Zaman DamgasıNTZ türü desteğini geliştirme
• [SPARK-43343] [SC-130629][ss] FileStreamSource, DataSource oluşturulurken ek dosya glob denetimini devre dışı bırakmalıdır
• [SPARK-43312] [SC-130294][protobuf] Herhangi bir alanı JSON'a dönüştürme seçeneği
• [SPARK-43404] [SC-130586][ss] Kimlik uyuşmazlığı hatasını önlemek için aynı RocksDB durum deposu sürümü için sst dosyasını yeniden kullanma atlayın
• [SPARK-43397] [SC-130614][core] executorLost yönteminde çalıştırıcıyı kaldırma süresini kaydetme
• [SPARK-42388] [SC-128568][sql] Vektörleştirilmiş okuyucuda parquet altbilgisinin iki kez okunmasını önlemek
• [SPARK-43306] [13.x][sc-130320][PYTHON] ValueError'ı Spark SQL türlerinden hata sınıfına geçirme
• [SPARK-43337] [SC-130353][ui][3.4] Sıralama sütunu için Asc/desc ok simgeleri tablo sütununda görüntülenmiyor
• [SPARK-43279] [SC-130351][core] Kullanılmayan üyeleri SparkHadoopUtil içinden temizleme
• [SPARK-43250] [SC-130147][sql] Hata sınıfını _LEGACY_ERROR_TEMP_2014 iç hatayla değiştirme
• [SPARK-43363] [SC-130299][sql][PYTHON] Ok türü sağlanmadığında yalnızca kategori türüne çağrı yapın
• [SPARK-43261] [SC-130154][python] Spark SQL türlerinden hata sınıfına geçiş TypeError
• [SPARK-41971] [SC-130230][sql][PYTHON] Yapı türlerini işlemeye yönelik pandas dönüştürme yapılandırması ekleme
• [SPARK-43381] [SC-130464][connect] 'transformStatCov' işlemini ertelenmiş hale getirin.
• [SPARK-43362] [SC-130481][sql] MySQL bağlayıcısı için JSON türünün özel işlenmesi
• [SPARK-42843] [SC-130196][sql] Hata sınıfı _LEGACY_ERROR_TEMP_2007 REGEX_GROUP_INDEX olarak güncelleştirin
• [SPARK-42585] [SC-129968][connect] Yerel ilişkilerin yayınlaması
• [SPARK-43181] [SC-130476][sql] ui webURL'i shell'de spark-sql göster
• [SPARK-43051] [SC-130194][connect] Varsayılan değerleri yaymak için seçenek ekleme
• [SPARK-43204] [SC-129296][sql] MERGE atamalarını tablo öznitelikleriyle hizalama
• [SPARK-43348] [SC-130082][python] PyPy3'te Python 3.8 desteği
• [SPARK-42845] [SC-130078][sql] Hata sınıfı _LEGACY_ERROR_TEMP_2010 InternalError olarak güncelleştirin
• [SPARK-43211] [SC-128978][hive] IsolatedClientLoader'da Hadoop2 desteğini kaldırma

Sistem ortamı

• İşletim Sistemi: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Gölü: 2.4.0

Yüklü Python kitaplıkları

Yüklü R kitaplıkları

R kitaplıkları, 2023-02-10'da Microsoft CRAN anlık görüntüsünden yüklenir.

Yüklü Java ve Scala kitaplıkları (Scala 2.12 küme sürümü)