Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Fitur dan peningkatan Databricks SQL berikut dirilis pada tahun 2026.
Juni 2026
MATCH_RECOGNIZE sekarang di Beta
30 Juni 2026
Databricks SQL dan Databricks Runtime sekarang mendukung klausul SQL:2016 MATCH_RECOGNIZE untuk pengenalan pola baris. Aktifkan pratinjau Match Recognize di pengaturan pratinjau ruang kerja. Lihat klausa MATCH_RECOGNIZE.
Dukungan untuk batasan UNIQUE kini tersedia dalam Pratinjau Umum
5 Juni 2026
Databricks SQL sekarang mendukung batasan informasi UNIQUE pada tabel Unity Catalog Delta Lake. Kunci asing dapat mereferensikan kolom UNIQUE, dan RELY pada constraint UNIQUE memungkinkan eliminasi join dan penyederhanaan DISTINCT pada komputasi dengan Photon aktif. Lihat klausa CONSTRAINT.
Mei 2026
Databricks SQL versi 2026.15 sekarang tersedia dalam Pratinjau
Mei 26, 2026
Databricks SQL versi 2026.15 sekarang tersedia di saluran Pratinjau . Tinjau bagian berikut untuk mempelajari tentang fitur baru, perubahan perilaku, dan perbaikan bug.
XPath tidak lagi mengambil DTD eksternal
Saat Anda mengevaluasi xpath melalui XML, Azure Databricks tidak lagi memuat Definisi Tipe Dokumen (DTD) eksternal yang dideklarasikan dalam dokumen. Sebelumnya, XPath dapat gagal ketika XML berisi referensi DTD eksternal yang menunjuk ke URL cacat atau titik akhir yang tidak dapat dijangkau. Karena validasi DTD terpisah dari evaluasi XPath, kueri yang sudah berhasil mengembalikan hasil yang sama seperti sebelumnya. Kueri yang sebelumnya hanya gagal saat pengambilan DTD eksternal kini dapat berhasil.
Preservasi struct NULL dalam INSERT, penulisan MERGE, dan streaming dengan evolusi skema
Untuk INSERT, MERGE, dan penulisan streaming yang menggunakan evolusi skema, struct NULL di sumber sekarang disimpan sebagai NULL di target. Sebelumnya, nilai tersebut diwujudkan secara tidak benar sebagai struktur non-null dengan setiap bidang diatur ke NULL, sementara operasi yang sama tanpa perubahan skema mempertahankan struktur NULL dengan benar. Jika kode Anda mengandalkan penerimaan struct non-null yang bidangnya semuanya NULL, perbarui kode Anda untuk menangani struct NULL sebagai gantinya.
SHOW CREATE TABLE mendukung tampilan metrik
SHOW CREATE TABLE sekarang mendukung tampilan metrik. Sebelumnya, menjalankan perintah ini pada tampilan metrik menimbulkan kesalahan. Output untuk tampilan metrik mencakup nama tiga bagian yang sepenuhnya memenuhi syarat dengan katalog (misalnya, CREATE VIEW catalog.db.my_metric_view ...), sehingga memudahkan untuk membuat ulang tampilan metrik di lokasi yang benar.
Perbaikan untuk penghapusan baris akibat LEFT OUTER LATERAL JOIN
Bug yang secara salah menghapus baris dari LEFT OUTER JOIN LATERAL kueri telah diperbaiki. Kueri yang menggunakan konstruksi ini sekarang mengembalikan hasil yang benar. Untuk kembali ke perilaku sebelumnya untuk sementara, atur spark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantic ke true.
NATURAL JOIN menghormati pencocokan kolom tanpa membedakan kasus huruf
NATURAL JOIN sekarang dengan benar menggunakan pencocokan kolom yang tidak peka terhadap huruf besar/kecil saat spark.sql.caseSensitive diatur ke false (default). Sebelumnya, NATURAL JOIN menggunakan perbandingan peka huruf besar/kecil untuk mengidentifikasi kolom umum, menyebabkan kolom yang hanya berbeda dalam hal huruf besar/kecil (misalnya, ID versus id) tidak dikenali sebagai pencocokan. Hal ini menyebabkan NATURAL JOIN diam-diam menghasilkan hasil gabungan silang. Kueri yang dipengaruhi oleh bug ini sekarang mengembalikan hasil yang benar dengan kolom yang digabungkan dengan benar.
Validasi dependensi SQL UDF di Unity Catalog
Unity Catalog sekarang memberlakukan validasi dependensi untuk fungsi yang ditentukan pengguna (UDF) SQL untuk mencegah bypass kontrol akses. Sebelumnya, fungsi SQL yang dibuat melalui REST API dapat mereferensikan dependensi yang tidak dapat diakses pengguna. UDF SQL dengan konfigurasi dependensi yang tidak valid sekarang diblokir dari eksekusi.
Penulisan yang dioptimalkan untuk tabel Unity Catalog yang dipartisi yang dibuat dengan CRTAS
Penulisan yang dioptimalkan sekarang diterapkan dengan benar ke tabel Unity Catalog yang dipartisi yang dibuat dengan CREATE OR REPLACE TABLE ... AS SELECT (CRTAS). Sebelumnya, CRTAS pada tabel Unity Catalog baru yang dipartisi tidak menerapkan penulisan yang dioptimalkan, menghasilkan jumlah file kecil yang lebih tinggi per partisi. Perbaikan ini dapat meningkatkan latensi tulis. Untuk kembali ke perilaku sebelumnya, atur spark.databricks.delta.optimizeWrite.UCTableCRTAS.enabled ke false.
Memperbaiki otoritas EPSG yang salah untuk SRID 102100 versi ESRI
Pemetaan Sistem Referensi Koordinat (CRS) untuk SRID 102100 sekarang menggunakan ESRI:102100 dengan benar alih-alih EPSG:102100salah . Perbaikan ini memastikan data geospasial disimpan dengan otoritas yang benar untuk interoperabilitas yang lebih baik dengan sistem lain.
DUKUNGAN CREATE OR REPLACE untuk tabel sementara
CREATE OR REPLACE TEMP TABLE sintaksis sekarang didukung, memungkinkan Anda membuat atau mengganti tabel sementara dalam satu pernyataan. Ini menghilangkan kebutuhan untuk secara eksplisit menghilangkan dan membuat ulang tabel sementara.
Riwayat tabel Delta menyertakan parameter opsi tulis
Riwayat tabel Delta Lake (DESCRIBE HISTORY) sekarang menyertakan flag opsi penulisan dalam kolom operationParameters untuk operasi WRITE dan REPLACE TABLE. Ketika opsi berikut diaktifkan secara eksplisit, opsi tersebut muncul sebagai bendera Boolean dalam riwayat (hanya disertakan ketika true):
Untuk WRITE operasi dan REPLACE TABLE :
-
isDynamicPartitionOverwrite: hadir ketika mode timpa partisi dinamis digunakan -
canOverwriteSchema: akan tampil saat penggantian skema (overwriteSchema) diaktifkan -
canMergeSchema: hadir ketika penggabungan skema (mergeSchema) diaktifkan
Untuk REPLACE TABLE operasi:
-
predicate: ada ketikareplaceWheredigunakan -
isV1WriterSaveAsTableOverwrite: hadir ketika penggantian dipicu oleh.saveAsTablepenimpaan
Fungsi geospasial baru
Fungsi geospasial berikut sekarang tersedia:
-
st_makepointfungsi: Mengembalikan titikGEOMETRYdengan koordinat yang diberikan. -
st_makeenvelopefungsi: Mengembalikan nilaiGEOMETRYyang merepresentasikan envelope sejajar sumbu (kotak pembatas) yang ditentukan oleh koordinat sudut yang diberikan.
Dukungan gabungan spasial yang ditingkatkan
Predikat ST_DWithin (jarak dalam) kini didukung sebagai kondisi join untuk join spasial. Konjungsi predikat sekarang memenuhi syarat untuk gabungan spasial, misalnya condition AND st_predicate.
Pembuatan profil data asli untuk tabel hasil di editor SQL
1 Mei 2026
Sekarang Anda dapat melihat statistik pembuatan profil untuk kolom dalam tabel hasil di editor Databricks SQL baru. Pilih header kolom dan klik Buka detail pilihan untuk melihat statistik pembuatan profil.
April 2026
agg Fungsi SQL sebagai sinonim untuk measure
30 April 2026
Fungsi agregat baru agg adalah sinonim untuk measure. Gunakan agg(measure_column) sebagai alternatif yang lebih singkat saat mengkueri pengukuran dalam tampilan metrik.
Databricks SQL versi 2026.10 sedang diluncurkan secara bertahap di Current
23 April 2026
Databricks SQL versi 2026.10 sedang diluncurkan ke saluran Current. Lihat fitur di 2026.10.
Maret 2026
Databricks SQL versi 2026.10 sekarang tersedia dalam Versi Pratinjau
26 Maret 2026
Databricks SQL versi 2026.10 sekarang tersedia di saluran Pratinjau . Tinjau bagian berikut untuk mempelajari tentang fitur baru, perubahan perilaku, dan perbaikan bug.
Kesalahan metrik pengamatan tidak lagi menyebabkan kueri gagal
Kesalahan selama pengumpulan metrik pengamatan tidak lagi menyebabkan kegagalan eksekusi kueri. Sebelumnya, kesalahan dalam OBSERVE klausa (seperti pembagian dengan nol) dapat memblokir atau gagal seluruh kueri. Sekarang, kueri berhasil dijalankan dan kesalahan muncul saat Anda memanggil observation.get.
Optimisasi penulisan untuk operasi CRTAS Katalog Unity
MEMBUAT ATAU MENGGANTI TABLE Operasi AS SELECT (CRTAS) pada tabel Unity Catalog yang dipartisi sekarang menerapkan penulisan yang dioptimalkan secara default, menghasilkan lebih sedikit file yang lebih besar. Untuk menonaktifkan, atur spark.databricks.delta.optimizeWrite.UCTableCRTAS.enabled ke false.
Nilai partisi tanda waktu menggunakan zona waktu sesi
Nilai partisi tanda waktu sekarang menggunakan zona waktu sesi gudang SQL. Jika Anda memiliki partisi tanda waktu yang ditulis sebelum Databricks SQL versi 2025.40, jalankan SHOW PARTITIONS untuk memverifikasi metadata partisi Anda sebelum menulis data baru.
Kata kunci yang dicadangkan DESCRIBE FLOW
Perintah DESCRIBE FLOW sekarang tersedia. Jika Anda memiliki tabel bernama flow, gunakan DESCRIBE schema.flow, DESCRIBE TABLE flow, atau DESCRIBE `flow` dengan backticks.
Operasi himpunan boolean SpatialSQL
ST_Difference, ST_Intersection, dan ST_Union gunakan implementasi baru dengan peningkatan berikut:
- Geometri input yang valid selalu menghasilkan hasil dan tidak lagi menimbulkan kesalahan. Input yang tidak valid tidak menimbulkan kesalahan tetapi mungkin tidak menghasilkan hasil yang valid.
- Performa sekitar 2x lebih cepat.
- Hasil dapat berbeda setelah tempat desimal ke-15 untuk persimpangan segmen garis karena rumus dan urutan operasi yang berbeda.
- Hasil dinormalisasi untuk output yang konsisten dan sebanding:
- Titik diurutkan berdasarkan nilai koordinat.
- Linestring dibangun dari jalur terpanjang yang mungkin.
- Cincin poligon diputar sehingga titik pertama memiliki nilai koordinat terkecil.
- Normalisasi ini berlaku dalam semua kasus kecuali saat memanggil
ST_Differencedengan dua geometri yang tidak tumpang tindih, di mana geometri pertama dikembalikan tanpa dimodifikasi.
Jenis pengecualian untuk SQLSTATE
Jenis pengecualian sekarang mendukung SQLSTATE. Jika kode Anda menguraikan pengecualian dengan pencocokan string atau menangkap jenis pengecualian tertentu, perbarui logika penanganan kesalahan Anda.
Dukungan jenis data DATETIMEOFFSET untuk Microsoft Azure Synapse
Jenis DATETIMEOFFSET data sekarang tersedia untuk koneksi Microsoft Azure Synapse.
Komentar tabel Google BigQuery
Deskripsi tabel Google BigQuery diselesaikan dan diekspos sebagai komentar tabel.
Evolusi skema dengan INSERT perintah
WITH SCHEMA EVOLUTION Gunakan klausa dengan pernyataan SQL INSERT untuk secara otomatis mengembangkan skema tabel target selama operasi penyisipan. Klausul ini didukung untuk INSERT INTO, INSERT OVERWRITE, dan INSERT INTO ... REPLACE jenis. Contohnya:
INSERT WITH SCHEMA EVOLUTION INTO students TABLE visiting_students_with_additional_id;
Skema tabel Delta Lake target diperbarui untuk mengakomodasi kolom tambahan atau tipe yang diperluas dari sumbernya. Untuk detailnya, lihat evolusi skema dan INSERT sintaks pernyataan.
Nilai struct NULL dipertahankan dalam operasi INSERT
INSERT operasi dengan evolusi skema atau transmisi implisit NULL sekarang mempertahankan nilai struktur ketika tabel sumber dan target memiliki urutan bidang struct yang berbeda.
fungsi SQL parse_timestamp
Fungsi SQL parse_timestamp mengurai string tanda waktu menggunakan beberapa pola dan berjalan pada mesin Photon untuk meningkatkan performa saat mengurai tanda waktu dalam beberapa format. Lihat Pola tanggalwaktu untuk informasi tentang pemformatan pola tanggalwaktu.
max_by dan min_by dengan batas opsional
Fungsi agregat max_by dan min_by sekarang menerima argumen limit ketiga opsional (hingga 100.000). Saat diberikan, fungsi tersebut mengembalikan array hingga limit nilai yang sesuai dengan nilai terbesar (atau terkecil) dari ekspresi pengurutan, yang menyederhanakan kueri top-K dan bottom-K tanpa memerlukan fungsi jendela atau CTE.
Pengukuran jendela periode ke periode dengan offset
Pengukuran jendela dalam tampilan metrik mendukung kolom offset yang menggeser kerangka jendela ke belakang atau ke depan pada dimensi order dengan interval tetap. Gunakan offset untuk mendefinisikan metrik periode-ke-periode seperti tahun-ke-tahun atau bulan-ke-bulan. Lihat Cara offset menggeser bingkai jendela.
Sertakan atau kecualikan baris jangkar dalam ukuran jendela trailing dan leading
Nilai rentang trailing dan leading untuk ukuran jendela dapat menggunakan pengubah opsional inclusive atau exclusive yang menentukan apakah baris acuan merupakan bagian dari jendela bergulir. Defaultnya adalah exclusive, yang cocok dengan perilaku sebelumnya. Lihat Menyertakan atau mengecualikan baris jangkar.
Fungsi agregat vektor dan skalar
Fungsi SQL baru beroperasi pada ARRAY<FLOAT> vektor untuk beban kerja penyematan dan kesamaan:
Fungsi agregat:
- vector_avg: Mengembalikan rata-rata elemen dari vektor-vektor dalam grup.
- vector_sum: Mengembalikan penjumlahan vektor per elemen dalam sebuah kelompok.
Fungsi skalar:
- vector_cosine_similarity: Mengembalikan kesamaan kosinus dari dua vektor.
- vector_inner_product: Mengembalikan produk dalam (titik) dari dua vektor.
- vector_l2_distance: Mengembalikan jarak Euclidean (L2) antara dua vektor.
- vector_norm: Mengembalikan norma Lp dari vektor (1, 2, atau tak terbatas).
- vector_normalize: Mengembalikan vektor yang dinormalisasi ke panjang unit.
Lihat Fungsi bawaan.
Dukungan kursor SQL dalam pernyataan majemuk
Pernyataan gabungan skrip SQL sekarang mendukung pemrosesan kursor. Gunakan KURSOR DECLARE untuk menentukan kursor, lalu pernyataan OPEN, pernyataan FETCH, dan pernyataan CLOSE untuk menjalankan kueri dan menggunakan baris satu per satu. Kursor dapat menggunakan penanda parameter dan penangan kondisi seperti NOT FOUND untuk pemrosesan baris demi baris.
Perkiraan fungsi sketsa top-k
Fungsi baru memungkinkan pembuatan dan penggabungan sketsa perkiraan top-K untuk agregasi top-K yang terdistribusi.
- approx_top_k_accumulate: Membuat sketsa tiap grup.
- approx_top_k_combine: Menggabungkan sketsa.
- approx_top_k_estimate: Mengembalikan item K teratas dengan perkiraan jumlah.
Untuk informasi selengkapnya, lihat approx_top_k fungsi agregat dan Fungsi bawaan.
Fungsi sketsa tuple
Fungsi agregat dan skalar baru untuk sketsa tuple mendukung penghitungan dan agregasi yang berbeda atas pasangan ringkasan kunci.
Fungsi agregat:
-
tuple_sketch_agg_doublefungsi agregat -
tuple_sketch_agg_integerfungsi agregat -
tuple_union_agg_doublefungsi agregat -
tuple_union_agg_integerfungsi agregat -
tuple_intersection_agg_doublefungsi agregat -
tuple_intersection_agg_integerfungsi agregat
Fungsi skalar:
- tuple_sketch_estimate
- tuple_sketch_summary
- tuple_sketch_theta
- tuple_union
- tuple_intersection
- tuple_difference
Lihat Fungsi bawaan.
Dependensi kustom untuk Unity Catalog Python UDTFs
Fungsi tabel yang ditentukan pengguna (UDTF) Unity Catalog Python sekarang dapat menggunakan dependensi kustom untuk pustaka eksternal, sehingga Anda dapat menggunakan paket di luar apa yang tersedia di lingkungan gudang SQL default. Lihat Memperluas UDF menggunakan dependensi kustom.
Fungsi geospasial baru
Fungsi geospasial berikut sekarang tersedia:
-
st_estimatesridfungsi: Memperkirakan pengidentifikasi referensi spasial (SRID) terbaik yang diproyeksikan untuk geometri input. -
st_force2dfungsi: Mengonversi geografi atau geometri ke representasi 2D-nya. -
st_nringsfungsi: Menghitung jumlah total cincin dalam poligon atau multipoligon, termasuk cincin eksterior dan interior. -
st_numpointsfungsi: Menghitung jumlah titik yang tidak kosong dalam geografi atau geometri.
Dukungan foton untuk fungsi geospasial
Fungsi geospasial berikut sekarang berjalan pada mesin Photon untuk performa yang lebih cepat:
Februari 2026
Databricks SQL versi 2025.40 sedang diluncurkan saat ini
23 Februari 2026
Databricks SQL versi 2025.40 sedang diluncurkan ke saluran Current. Lihat fitur di 2025.40.
Databricks SQL versi 2025.40 sekarang tersedia dalam Versi Pratinjau
11 Februari 2026
Databricks SQL versi 2025.40 sekarang tersedia di saluran Pratinjau . Tinjau bagian berikut untuk mempelajari tentang fitur baru, perubahan perilaku, dan perbaikan bug.
Pembuatan skrip SQL umumnya tersedia
Pembuatan skrip SQL sekarang tersedia secara umum. Tulis logika prosedural dengan SQL, termasuk pernyataan kondisional, perulangan, variabel lokal, dan penanganan pengecualian.
Penanda parameter sekarang didukung dalam konteks SQL lainnya
Anda sekarang dapat menggunakan penanda parameter bernama (:param) dan yang tidak disebutkan namanya (?) di mana saja nilai harfiah dari jenis yang sesuai diizinkan. Ini termasuk pernyataan DDL seperti CREATE VIEW v AS SELECT ? AS c1, jenis kolom seperti DECIMAL(:p, :s), dan komentar seperti COMMENT ON t IS :comment. Ini memungkinkan Anda untuk membuat parameter berbagai pernyataan SQL tanpa mengekspos kode Anda ke serangan injeksi SQL. Lihat Penanda parameter.
IDENTIFIER klausa diperluas ke lebih banyak konteks SQL
Klausa IDENTIFIER , yang melemparkan string ke nama objek SQL, sekarang didukung dalam hampir setiap konteks di mana pengidentifikasi diizinkan. Dikombinasikan dengan dukungan penggabungan string literal dan penanda parameter yang diperluas, Anda dapat memparametrisasi apa pun mulai dari alias kolom (AS IDENTIFIER(:name)) hingga definisi kolom (IDENTIFIER(:pk) BIGINT NOT NULL). Lihat klausa IDENTIFIER.
Penggabungan string literal didukung secara menyeluruh
Literal string berurutan seperti 'Hello' ' World' sekarang bersatu dalam 'Halo Dunia' konteks apa pun di mana literal string diizinkan, termasuk COMMENT 'This' ' is a ' 'comment'. Lihat STRING jenis.
Fungsi BITMAP_AND_AGG baru
Fungsi BITMAP_AND_AGG baru sekarang tersedia untuk melengkapi pustaka BITMAP fungsi yang ada.
Fungsi Sketsa Theta baru untuk perkiraan jumlah yang berbeda
Pustaka fungsi baru untuk perkiraan jumlah yang berbeda dan operasi himpunan menggunakan Sketsa Datasketches Theta sekarang tersedia:
-
theta_sketch_aggfungsi agregat -
theta_union_aggfungsi agregat -
theta_intersection_aggfungsi agregat -
theta_sketch_estimatefungsi -
theta_unionfungsi -
theta_differencefungsi -
theta_intersectionfungsi
Fungsi Sketsa KLL baru untuk perkiraan kuantil
Sebuah perpustakaan fungsi baru untuk membangun Sketsa KLL untuk komputasi kuantil secara perkiraan telah tersedia.
-
kll_sketch_agg_bigintfungsi agregat -
kll_sketch_get_quantile_bigintfungsi -
kll_sketch_merge_bigintfungsi -
kll_sketch_agg_doublefungsi agregat -
kll_sketch_get_quantile_doublefungsi -
kll_sketch_merge_doublefungsi -
kll_sketch_agg_floatfungsi agregat -
kll_sketch_get_quantile_floatfungsi -
kll_sketch_merge_floatfungsi -
kll_sketch_get_n_bigintfungsi -
kll_sketch_get_rank_bigintfungsi -
kll_sketch_to_string_bigintfungsi -
kll_sketch_get_n_doublefungsi -
kll_sketch_get_rank_doublefungsi -
kll_sketch_to_string_doublefungsi -
kll_sketch_get_n_floatfungsi -
kll_sketch_get_rank_floatfungsi -
kll_sketch_to_string_floatfungsi
Anda dapat menggabungkan beberapa sketsa KLL dalam konteks agregasi menggunakan kll_merge_agg_bigint, kll_merge_agg_double, dan kll_merge_agg_float.
Fungsi jendela SQL dalam tampilan metrik
Anda sekarang dapat menggunakan fungsi jendela SQL dalam tampilan metrik untuk menghitung total yang berjalan, peringkat, dan perhitungan berbasis jendela lainnya.
Fungsi geospasial baru
Fungsi geospasial baru berikut ini sekarang tersedia:
-
st_azimuthfungsi: Mengembalikan azimuth berbasis utara dari titik pertama ke titik kedua dalam radian di[0, 2π). -
st_boundaryfungsi: Mengembalikan batas geometri input. -
st_closestpointfungsi: Mengembalikan proyeksi 2D titik pada geometri pertama yang paling dekat dengan geometri kedua. -
st_geogfromewktfungsi: Mengurai deskripsi Extended Well-Known Text (EWKT) tentang geografi. -
st_geomfromewktfungsi: Menganalisis deskripsi Extended Well-Known Text (EWKT) mengenai geometri.
Dukungan input EWKT untuk fungsi geometri dan geografi yang ada
Fungsi berikut sekarang menerima Extended Well-Known Text (EWKT) sebagai input:
Peningkatan performa untuk kueri berulang di atas tabel dengan filter baris dan masker kolom
Kueri berulang yang memenuhi syarat pada tabel dengan filter baris dan masker kolom sekarang mendapat manfaat dari peningkatan caching hasil kueri, menghasilkan waktu eksekusi yang lebih cepat.
Peningkatan performa fungsi geospasial
Performa gabungan spasial ditingkatkan dengan dukungan pengelompokan ulang gabungan spasial. Fungsi ST berikut sekarang memiliki implementasi Photon:
FSCK REPAIR TABLE menyertakan perbaikan metadata secara default
FSCK REPAIR TABLE sekarang menyertakan langkah perbaikan metadata awal sebelum memeriksa file data yang hilang, memungkinkannya untuk mengerjakan tabel dengan titik pemeriksaan yang rusak atau nilai partisi yang tidak valid. Selain itu, dataFilePath kolom dalam FSCK REPAIR TABLE DRY RUN skema output sekarang dapat diubah ke null untuk mendukung jenis masalah baru di mana jalur file data tidak berlaku.
DESCRIBE TABLE output mencakup kolom metadata
DESCRIBE TABLE [EXTENDED] sekarang mencakup kolom metadata pada semua jenis tabel. Kolom ini berisi metadata semantik (nama tampilan, format, dan sinonim) yang ditentukan pada tabel sebagai string JSON.
Struktur NULL dipertahankan dalam operasi penulisan MERGE, UPDATE, dan streaming
Struktur NULL sekarang dipertahankan sebagai NULL di Delta Lake MERGE, UPDATE, dan operasi penulisan streaming yang mencakup pengubahan tipe struct. Sebelumnya, struktur NULL diperluas menjadi struktur dengan semua bidang yang ditetapkan ke NULL.
Kolom partisi terwujud dalam file Parquet
Tabel Delta Lake terpartisi kini mematerialisasi kolom partisi dalam file data Parquet yang baru saja ditulis. Sebelumnya, nilai partisi hanya disimpan dalam metadata log transaksi Delta Lake. Beban kerja yang membaca langsung file Parquet yang dihasilkan oleh Delta Lake akan mendeteksi kolom partisi tambahan pada file yang baru ditulis.
Nilai partisi tanda waktu menghormati zona waktu sesi
Nilai partisi tanda waktu sekarang disesuaikan dengan benar menggunakan konfigurasi spark.sql.session.timeZone. Sebelumnya, mereka salah dikonversi ke UTC menggunakan zona waktu JVM.
Pembatasan perjalanan waktu diperbarui
Azure Databricks sekarang memblokir kueri perjalanan waktu di luar deletedFileRetentionDuration ambang batas untuk semua tabel. Perintah VACUUM mengabaikan argumen durasi retensi kecuali ketika nilainya adalah 0 jam. Anda tidak dapat mengatur deletedFileRetentionDuration lebih besar dari logRetentionDuration.
SHOW TABLES DROPPEDmenghormati klausul LIMIT
SHOW TABLES DROPPED sekarang dengan benar menghormati klausul LIMIT .