Dış sistemleri kullanarak gerçekleştirilmiş görünümlere ve akış tablolarına erişme

Varsayılan olarak, somutlaştırılmış görünümler ve akış tabloları dış sistemlerden erişime açık değildir. Azure Databricks, veri kümelerinizi Delta Lake veya Iceberg istemcilerinin kullanımına sunmanızı sağlayan iki özellik sağlar:

  • Dış veri erişimi (Genel Önizleme) - İşlem hattı veri kümeleri için dış veri erişiminin etkinleştirilmesi, istemcilerin tam veri kopyalama veya ayrı yenileme zamanlaması gerektirmeden Unity Kataloğu veya Iceberg REST API'lerini kullanmasına olanak tanıyan veri kümesi meta verilerinin bir kopyasını oluşturur. İstemcilerin katalog REST API'lerini kullanması ve Delta 4.0.0 veya üzerini ya da Iceberg v3 belirtimini desteklemesi gerekir.

    İşlem hattı veri kümelerine yönelik dış veri erişimi hakkında ayrıntılı bilgi için bkz. Akış tablolarına ve gerçekleştirilmiş görünümlere dış veri erişimini etkinleştirme.

  • Uyumluluk modu (Genel Önizleme) - Bir veri kümesi için uyumluluk modunun etkinleştirilmesi, seçtiğiniz bir konumda verilerinizin salt okunur bir sürümünü oluşturur ve tablolar yenilendiğinde güncelleştirilmelidir. Uyumluluk sürümü, verilerin salt okunur kopyasıyla birlikte hem Delta Lake hem de Iceberg biçimleri için v1 meta verilerini içerir ve veri güncelleştirmelerinde gecikme ve veri kopyalama maliyetleri karşılığında daha geniş bir istemci aralığına (bir API yerine doğrudan tablo verilerini okuması gereken istemciler dahil) erişim sağlar.

    Uyumluluk modu hakkında ayrıntılı bilgi için bkz. Uyumluluk Modu.

Dış istemcileriniz REST API'leri destekliyorsa, Azure Databricks bu istemcilere gerçekleştirilmiş görünümlere veya akış tablolarına erişim vermek için dış veri erişimi kullanmanızı önerir. Özellikle eski istemciler ve Unity Kataloğu tarafından yönetilen diğer tablolar gibi daha geniş bir istemci yelpazesi için uyumluluk modunu kullanın.

Kapasite Dış veri erişimi Uyumluluk modu
Veri kopyalama Veri kopyalama gerekmez. Veri kopyası gerekli.
Consistency Yazma sonrası okuma tutarlılığı. Dış istemciler değişiklikleri veri kümesinde gerçekleşir gerçekleşmez görür. Güncelleştirmeler bir zamanlamaya göre gerçekleşir. Varsayılan olarak, uyumluluk tablosu saatlik olarak güncelleştirilir. Bu, kaynak tabloda yapılan bir değişiklik sonrasında hemen güncelleştirilecek şekilde ayarlanabilir, ancak yine de veri kopyalama süresinde gecikir.
Access "Modern" REST API erişimi gerektirir. Delta 4.0.0 veya üzeri katalog API'lerini veya Iceberg v3 belirtim API'lerini destekler (silme vektörleri desteği gerektirir). Tüm Delta Lake veya Iceberg istemcileri ile uyumludur.
Tek tablo nesnesi Maddileştirilmiş görünümler ve akış tabloları, dış istemcilere orijinal veri kümesiyle aynı adı taşıyan yönetilen tablolar olarak görünür. Uyumluluk tabloları, dış istemciler için yeni bir konumda yeni bir tablo olarak görünür.
Tablo türü desteği Bir Lakeflow işlem hattı tarafından yönetilen somutlaştırılmış görünümleri ve akış tablolarını destekler. Lakeflow işlem hattı tarafından yönetilsin ya da bağımsız olsun, somutlaştırılmış görünümleri, akış tablolarını ve Unity Catalog tarafından yönetilen diğer tabloları destekler.
Maliyet Dış meta verileri koruma maliyeti, gerçekleştirilmiş görünüm veya akış tablosunun yenileme maliyetinin bir parçasıdır. Bu genellikle yenileme maliyetinin ve süresinin 1% altındadır. Uyumluluk modu maliyetinin çoğu, eski verileri yeni konuma aktarma maliyetidir.

Ek kaynaklar

  • Last updated on