Databricks Runtime 19 (Beta)

Bu sayfa, Apache Spark 4.2.0 tarafından desteklenen Databricks Runtime 19 için birleşik sürüm notları içerir. Databricks Runtime 19 yayın döngüsü boyunca gönderilen tüm özellikleri, davranış değişikliklerini ve düzeltmeleri listeler. Kümeler yeniden başlatıldığında güncelleştirmeleri alır.

Databricks Runtime destek yaşam döngüsü hakkında bilgi için bkz. Databricks destek yaşam döngüleri.

Databricks Runtime 19 (Beta): 26 Haziran 2026

Davranış değişiklikleri

• Ortam değişkeni kullanılabilirliği standart erişim modunda kısıtlandı: Standart erişim modunda Spark altyapısı ve başlatma betikleri için yalnızca önceden tanımlanmış bir ortam değişkenleri kümesi kullanılabilir. Bu küme ara sunucu ayarları (), bulut kimlik bilgileri (HTTP_PROXY, AWS_ACCESS_KEY_ID) ve katalog değişkenleri (AZURE_CLIENT_IDCATALOG) gibi yaygın yapılandırma değişkenlerini içerir. Bir kümede ayarladığınız diğer değişkenler, UDF'ler de dahil olmak üzere kullanıcı kodunuz tarafından kullanılabilir durumda kalır, ancak Spark altyapısı veya başlatma betikleri tarafından kullanılamaz. Daha önce tüm küme ortam değişkenleri Spark altyapısı ve başlatma betikleri tarafından kullanılabilirdi. Bkz . Ortam değişkeni sınırlamaları.
• Standart erişim modunda kısıtlı Spark yapılandırmaları: Standart erişim modunda artık belirli Spark yapılandırma özelliklerini ayarlayamayabilirsiniz. Kısıtlanmış bir özelliği (ön ek ile eşleştirilen) ayarlayan bir küme oluşturma veya düzenleme işlemi bir hatayla başarısız olur. Kısıtlı özellikler arasında spark.driver.extraJavaOptions, spark.executor.extraJavaOptions, spark.jars, spark.files, spark.executorEnv.* ve spark.kubernetes.* bunlarla sınırlı olmamak üzere yer alır. Daha önce bu özellikleri standart erişim modunda ayarlayabilirsiniz. Yükseltmeden önce bunları küme yapılandırmanızdan kaldırın. Listenin tamamı için bkz. Spark yapılandırma sınırlamaları.

Databricks Runtime 19 (Beta): 15 Haziran 2026

Databricks Runtime 19 artık Apache Spark 4.2.0 tarafından desteklenen Beta sürümünde kullanılabilir.

Davranış değişiklikleri

• JDK 17 kaldırıldı: Databricks Runtime 19 yalnızca JDK 21'i destekler. Daha önce Databricks Runtime 18, JDK 17'yi ortam değişkeni kullanılarak JNAME seçilebilen bir geri dönüş seçeneği olarak eklemişti. Bu geri dönüş artık Databricks Runtime 19'da kullanılamaz. JNAME=zulu17-ca-amd64 ayarlayan kümelerin (veya ARM karşılığını ayarlayanların) yükseltme işleminden önce bu ortam değişkenini kaldırması gerekir.
• Python paketleri kaldırıldı: Databricks Runtime 18 ile karşılaştırıldığında Databricks Runtime 19'da yaklaşık 90 standart çalışma zamanı paketi kaldırılır. Dikkat çeken kaldırılanlar arasında plotly, seaborn, openai, langchain-core, langchain-openai, huggingface_hub, psycopg2 ve pyodbc yer alır. JupyterLab ile birlikte gelen sunucu temel imajdan ayrıştırıldı ve böylece Jupyter ile ilgili yaklaşık 54 paket kaldırıldı. Bu paketlere bağımlı olan iş yüklerinin bunları açıkça bir küme kitaplığı veya init betiği kullanarak yüklemesi gerekir. Databricks Runtime 19'a dahil edilen paketlerin tam listesi için bkz. Yüklü Python kitaplıkları. ML runtime’ına özgü kaldırma işlemleri için bkz. Databricks Runtime 19 for Machine Learning (Beta).
• Ayrılmış tablo özelliği pipelines.pipelineId: Databricks Runtime 19, tüm tablolarda pipelines.pipelineId tablo özelliğini ayırır. Bu özelliği el ile ayarlama girişimi bir hatayla sonuçlanır. Yükseltmeden önce tablonuzun DDL'sinden açık pipelines.pipelineId atamaları kaldırın.
• Gerçek zamanlı modda watermark gecikmesi +1 ms kaydırıldı: Gerçek zamanlı mod (RTM) akış sorgularında, watermark gerçek zamanlı watermark yayılımı yoluyla toplu işin ortasında ilerlediğinde, olay zamanı mevcut watermark'a eşit olan bir kayıt daha önce geç kalmış sayılıyor ve düşürülüyordu. Olay zamanı watermark gecikmesi artık +1 ms ötelenmiştir; böylece geç kayıt denetimi fiilen kesin hâle gelir ve olay zamanı geçerli watermark’a eşit olan kayıtlar artık tutulur. Mikro toplu işlem modu etkilenmez.
• Özel türler için gereken DStream denetim noktası sınıfı izin listesi: Apache Spark 4.2.0, DStream denetim noktası seri durumdan çıkarma için bir güvenlik denetimi sağlar. DStream closure’ları içinde özel veya üçüncü taraf türler kullanan kullanıcılar, checkpoint kurtarmayı denemeden önce spark.streaming.checkpoint.allowedClasses öğesini tam nitelikli sınıf adları veya joker karakter desenlerinden oluşan virgülle ayrılmış bir listeye ayarlamalıdır. Varsayılan yerleşik izin verilenler listesi yalnızca standart Spark türlerini kapsar.

Apache Spark düzeltmeleri ve geliştirmeleri

Databricks Runtime 19, Apache Spark 4.2.0'ı içerir. Bu sürüm, Databricks Runtime 18'de yer alan tüm Spark düzeltmeleri ve iyileştirmelerinin yanı sıra Spark'ta yapılan aşağıdaki ek hata düzeltmelerini ve iyileştirmelerini içerir:

• is_valid_variant ifadesi: SQL artık, giriş iyi biçimlendirilmiş bir is_valid_variant(expr) değeri ise true, aksi takdirde VARIANT döndüren false ifadesini destekliyor. Aşağı akış işlemeden önce değişken verileri doğrulamak için bunu kullanın.
• INSERT INTO ... REPLACE ON/USING söz dizimi: SQL artık INSERT INTO ... REPLACE ON <columns> ve INSERT INTO ... REPLACE USING <subquery> söz dizimini destekleyerek, eşleşen sütun değerlerine göre mevcut satırların yerini alan upsert tarzı yazma işlemlerini mümkün kılar.
• DSv2 işlem yönetimi: Veri Kaynağı v2 katalogları artık işlem yönetimini destekleyerek katalog işlemleri arasında atomik çok tablolu yazmaları ve tutarlı okumaları etkinleştiriyor.
• ChangelogTable ile toplu CDC son işleme: SQL artık Değişiklik Veri Yakalama (CDC) çıktısını bir değişiklik günlüğü olarak okumayı ve toplu modda net değişiklikleri hesaplamayı destekliyor. Çözümleyici changelog ResolveChangelogTable şemasını doğrular ve ham CDC satırlarından birleştirilmiş sonuçları hesaplar.
• TABLESAMPLE SYSTEM DSv2 anında iletme ile blok örnekleme: TABLESAMPLE SYSTEM artık Veri Kaynağı v2 tablolarında desteklenmektedir ve iyileştirilmiş performans için yüzde tabanlı blok düzeyinde örneklemenin veri kaynağına gönderilmesine olanak sağlar.
• CREATE VIEW ve ALTER VIEW DSv2 katalogları için: Veri Kaynağı v2 katalogları artık CREATE VIEW ve ALTER VIEW deyimlerini destekleyerek Hive olmayan kataloglara görünüm DDL eşdeğerliği getiriyor.
• CREATE METRIC VIEW V2 kataloglarında: CREATE METRIC VIEW artık Veri Kaynağı v2 kataloglarında desteklenmektedir.
• SQL'deki KLL nicel işlevleri: SQL artık yaklaşık nicel sorgular için toplama ve CDF hesaplama işlevleri de dahil olmak üzere Apache DataSketches tarafından desteklenen KLL nicel taslak işlevlerini yerel olarak desteklemektedir.
• SQL'deki Tanımlama Grubu Taslağı işlevleri: SQL artık apache Tanımlama Grubu Taslağı toplama işlevlerini yerel olarak destekleyerek rastgele yazılan yüklerde yaklaşık küme kesişimi ve birleşim işlemlerini mümkün hale getirmektedir.
• withSchemaEvolution() DataFrame yazıcı API'sinde: DataFrame yazıcı API'sinde artık withSchemaEvolution(), onu destekleyen tablolara yazarken otomatik şema evrimine olanak tanıyan bulunur.
• Dataset.zipWithIndex Scala API'sinde: Scala Dataset API'si artık, mevcut Python ve Java API'leriyle tutarlı olarak, her öğeyi dizindeki konumuyla eşleştiren zipWithIndex öğesini içeriyor.
• Tablo değerli işlev bağımsız değişkenlerinde Skaler UDF'ler: SQL artık tablo değerli işlevlere bağımsız değişken olarak skaler kullanıcı tanımlı işlevlerin kullanılmasını destekleyerek daha zengin parametreleştirmeyi sağlıyor.
• DataFrameGroupBy.cov Spark üzerinde pandas API'sinde: Spark üzerindeki pandas API'sinde artık her grup içindeki sütunların çift tabanlı kovaryansını hesaplama desteklemektedir DataFrameGroupBy.cov.
• SeriesGroupBy.describe Spark'taki pandas API'sinde: Spark'taki pandas API'si artık SeriesGroupBy.describe desteği sunuyor; bu, her grup için açıklayıcı istatistikler oluşturur.
• Spark kullanıcı arabiriminde indirme bağlantılarını planlama: Spark kullanıcı arabirimi yürütme sayfası artık SVG, DOT ve TXT biçimlerindeki sorgu planları için indirme bağlantıları içerir.
• pa.ChunkedArray içindeki createDataFrame desteği: createDataFrame() artık PyArrow ChunkedArray sütunlarına sahip pandas DataFrame'lerini doğru şekilde işleyerek Arrow destekli pandas verileri kullanılırken tür hatalarını önlüyor.
• Dizi yüksek sıralı işlevler için Codegen desteği: , filtergibi transformdizi yüksek sıralı işlevler ve aggregate artık sorgu derlemesi sırasında JVM bayt kodu oluşturma özelliğinden yararlanarak bu işlevleri yoğun bir şekilde kullanan iş yüklerinin performansını geliştirin.
• Düzeltme: sütun alt kümesi kullanıldığında exceptAll sonrasında doğruluk dropDuplicates: df.dropDuplicates(subset).exceptAll(other) öğesinin yanlış sonuçlar üretmesine neden olan bir hata düzeltildi. Düzeltme, yinelenenleri izleme mantığının alt küme tekilleştirmesini doğru şekilde işlemesini sağlar.
• Düzeltme: SQL ayrıştırıcısı blok açıklamalarıyla biten deyimleri koruyor: Blok açıklamasıyla biten SQL deyimlerinin noktalı virgül bölücü tarafından sessizce bırakılmasına neden olan bir hata düzeltildi. Tüm ifadeler artık sonda yer alan yorum biçiminden bağımsız olarak doğru şekilde ayrıştırılıyor.
• Düzeltme: durum biçimi V4'te akış-akış birleştirmesinin doğruluğu: RocksDB durum deposu biçimi V4 kullanılırken zaman penceresi koşullarına sahip stream-stream birleştirmelerinde bulunan bir hata giderildi; böylece durum bilgili akış sorguları sırasında yanlış birleştirme sonuçları önleniyor.

Kitaplık yükseltmeleri

Kitaplıklar yalnızca eski bir sürümde güvenlik riski olduğunda yükseltilir. Bir güvenlik açığı belirlendiğinde Databricks, sorunu çözen en eski sürüme yükseltilir. Onaylanan bir güvenlik düzeltme eki nedeniyle bu yayın döngüsü sırasında bir kitaplık yükseltildiyse, geçişi belgelemesi için önceki sürüm de listelenir.

Python

R

Java

Databricks ODBC/JDBC sürücü desteği

Databricks, son 2 yılda yayımlanan ODBC/JDBC sürücülerini destekler. Lütfen son yayınlanan sürücüleri indirin ve yükseltin (ODBC'yi indirin, JDBC'yi indirin).

Sistem ortamı

• İşletim Sistemi: Ubuntu 24.04.4 LTS
• Java: Zulu21.48+15-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.6.0
• Delta Gölü: 4.2.0

Yüklü Python kitaplıkları

Yüklü R kitaplıkları

R kitaplıkları, PACKAGES sayfasındaki Posit Paket Yöneticisi CRAN anlık görüntüsünden yüklenir.

Yüklü Java ve Scala kitaplıkları (Scala 2.13 küme sürümü)