Otomatik yükseltmeler

Databricks, kod değişikliği veya manuel ALTER TABLE ifadeleri gerektirmeden, Unity Catalog tarafından yönetilen tabloları genel kullanıma açık önerilen özellikleri kullanacak şekilde otomatik olarak yükseltir. Otomatik yükseltmeler, yeni özellikleri açmadan önce istemcilerin uyumlu olduğunu doğrular.

Otomatik yükseltmeler aşağıdaki avantajları sağlar:

• Çalışma alanlarınızdaki her tablo ve özellik birleşimi için tek tek uyumluluk gereksinimlerini doğrulamak için gereken yönetim çabasını azaltın. Binlerce tablo içeren kataloglarınız varsa bu özellikle yararlıdır.
• Yönetilen tablolarınızda en son performans ve güvenilirlik iyileştirmelerini otomatik olarak elde edin.
• Tabloları güvenli bir şekilde yükseltin. Otomatik yükseltmeler yalnızca iş yükü uyumluluğunu doğruladıktan sonra özellikleri açar.

Bu özelliklerle ilişkili avantajlar hakkında daha fazla bilgi için bkz. Otomatik Yükseltmeler: göl evi tablolarınız için en iyi uygulama özellikleri.

Otomatik yükseltmeler nasıl çalışır?

Otomatik yükseltmeler Unity Kataloğu yönetilen tablo erişim desenlerini izler ve herhangi bir özelliği açmadan önce erişim desenlerinin uyumlu olduğunu doğrulamak için bir gözlem penceresi kullanır. Gözlem penceresi Genel Önizleme'deki yükseltmeler için 50 gündür ve genel kullanıma sunulan yükseltmeler için 100 gündür. Bkz . Desteklenen özellikler.

Otomatik yükseltmeler, arka planda tabloları yükseltmek için sunucusuz işlem kullanır. Bu işlem için ücret alınmaz.

Şemalar ve tablolar

Otomatik yükseltmelerin davranışı, özellik yayımlandığında şemanın yeni mi yoksa zaten var mı olduğuna bağlıdır. Yeni bir tablo oluşturduğunuzda, şemanın varsayılan özelliklerinden özellikleri devralır. Aşağıdaki tabloda her bir durum açıklanmaktadır:

Doğrulanmış iş yükleri

Bir iş yükü, belirli bir özellik için tabloya Databricks Runtime sürümüne sahip bir Databricks kümesinden erişiyorsa, özelliğin en düşük gerekli sürümünde veya üzerinde doğrulanmış olarak kabul edilir.

Otomatik yükseltmeler, aşağıdaki iş yüklerini onaylanmamış olarak kabul eder:

• Dış istemciler ve Flink veya Presto gibi üçüncü taraf hizmetler. Bkz Unity Kataloğu tümleştirmeleri.
• Zerobus gibi, standart Databricks Runtime erişim kalıplarını atlayan doğrudan tablo erişimine sahip Azure Databricks hizmetleri. Şuna bakın: Zerobus İçerme bağlayıcı genel bakış.

Bir şemadaki herhangi bir tabloya gözlem penceresinde, özelliğin gerekli en düşük sürümünün altındaki Databricks Runtime sürümü veya bir dış istemci tarafından erişildiyse, otomatik yükseltmeler ilgili özelliği bu şemadaki herhangi bir tabloda açmaz.

Desteklenen özellikler

Otomatik yükseltmeler, aşağıdaki tablolarda açıklanan genel kullanıma sunulan özelliklerin bir alt kümesine uygulanır. Özellik kullanılabilirliği bölgeye göre farklılık gösterebilir.

Genel kullanıma sunulan yükseltmelere sahip özellikler

Aşağıdaki özellikler genel kullanıma sunulmuştur ve otomatik yükseltmeler bunları belirtilen tablo türlerine uygular. Otomatik yükseltme sistemi de genel olarak kullanılabilir.

Her özellik, yayın tarihinden başlayarak ve yaklaşık altı ay içinde tüm müşterilere ulaşarak aşamalı olarak kullanıma sunulur.

Genel Önizleme'de yükseltme alan özellikler

Aşağıdaki özellikler genel kullanıma sunulmuştur ancak otomatik yükseltmeleri Genel Önizleme aşamasındadır ve kayıt gerektirir.

Otomatik yükseltmeler yalnızca Genel Önizleme'ye kaydolduysanız ve kaydolduktan hemen sonra etkinleşirse bu özellikler için geçerlidir:

Requirements

• Sunucusuz işlem bölgenizde kullanılabilir olmalıdır.
• Tablolar Delta Lake veya Apache Iceberg biçimlerinde Unity Kataloğu tarafından yönetilen tablolar olmalıdır.

Etkin özellikleri gözlemleyin

Otomatik yükseltmelerin tablodaki bir özelliği açıp açmadiğini denetlemek için, Katalog Gezgini'ndeki SET TBLPROPERTIES sekmesinde bir işlem arayın veya kullanın.DESCRIBE HISTORY <table_name> Otomatik yükseltmeler bu işlemi gerçekleştirdiyse, kullanıcı adı alanında kullanıcı adı yerine 4d137f29-62 gibi bir karma değeri görüntülenir. Bkz . Katalog Gezgini nedir? ve Tablo geçmişini görüntüleme.

Otomatik yükseltmeler yeni bir şemadaki tablolardaki özellikleri etkinleştirdikten sonra, Katalog Gezgini'ndeki Özellikler sekmesinde şema varsayılanlarını görüntüleyin. Örneğin, satır izlemenin açık olduğu bir şema gibi catalog.schema.enableRowTracking: "true"bir özellik gösterir. Mevcut şemaların otomatik yükseltme gözlemlenebilirlik özellikleri yoktur.

Hesap genelinde görünürlük için otomatik yükseltmeler sistem tablosunu sorgula. Bu tablo, otomatik yükseltmelerin bir tabloya eklediği her özelliği, ne zaman eklendiğini ve hangi tablonun etkilendiğini kaydeder, böylece tüm çalışma alanlarınızdaki yükseltme etkinliğini denetleyebilirsiniz. Bkz. Otomatik yükseltmeler sistem tablosu referansı.

Önerilen özellikleri yönetme

Yöneticiler bir yükseltmeden değişiklikleri geri alabilir veya tek tek tablolardaki özellikleri kapatabilir.

Değişiklikleri geri al

Özellik açılmadan önce bir tablonun verilerini ve meta verilerini bir sürüme geri döndürmek için kullanın RESTORE :

RESTORE TABLE <table_name> TO VERSION AS OF <version>;
RESTORE TABLE <table_name> TO TIMESTAMP AS OF <timestamp>;

Tablo geçmişi ve geri yükleme hakkında daha fazla bilgi için bkz. Tabloyu önceki bir duruma geri yükleme.

Tablo özelliklerini kapatma

Tek bir tablodaki bir özelliği kapatmak için:

ALTER TABLE <table_name> DROP FEATURE <feature_name>

Otomatik yükseltmeler, siz el ile kapattıktan sonra bir özelliği yeniden açmaz.

Sınırlamalar

• Hem Databricks-To-Open hem de Databricks-to-Databricks olmak üzere Delta Lake Sharing tarafından paylaşılan tablolar otomatik yükseltmelerin dışında tutulur. Bkz. OpenSharing nedir?.
• Otomatik yükseltmeler, bir hesaptaki tüm tablolarda bir özelliği kapatmak için toplu geri alma mekanizmasına sahip değildir. Bkz. Önerilen otomatik yükseltme özelliklerini yönetme.
• Gerçekleştirilmiş görünümler ve akış tabloları desteklenmez.
• Unity Kataloğu'nu atlayan ve tablolara doğrudan yoldan erişen iş yükleri otomatik yükseltmelerle izlenmez. İş yükleriniz yol tabanlı erişim kullanıyorsa, uyumluluğu tartışmak için hesap ekibinize başvurun.
• Dış tablolar otomatik yükseltmelerin dışında tutulur. Dış tablolara genellikle dosya yoluyla erişilir ve Unity Kataloğu atlanır ve Unity Kataloğu bu erişim desenlerini güvenilir bir şekilde izleyemez. Bkz Dış Tablolarla Çalışma.

Sık sorulan sorular

Aşağıdakiler, otomatik yükseltmelerle ilgili sık sorulan soruları yanıtlar.

Unity Kataloğu yönetilen tabloları için otomatik yükseltmeler nelerdir?

Bu sayfanın en üstündeki giriş bölümüne bakın.

Otomatik yükseltmeler uyumluluğu nasıl denetler?

Bkz . Doğrulanmış iş yükleri.

Otomatik yükseltmeler tablolarımı otomatik olarak değiştirir mi?

Evet. Bir özelliğin bir tablo için güvenli olduğu doğrulandıktan sonra Databricks, bunu hafif bir arka plan görevi aracılığıyla uygular. Tek tek tablolardaki özellikleri kapatmaya devam edebilirsiniz.

Tablodaki bir özelliği kapatırsam, otomatik yükseltmeler daha sonra yeniden açabilir mi?

No. Otomatik yükseltmelerin eklendiği bir özelliği kapattıktan sonra, otomatik yükseltmeler bu tablo için bu özelliği yeniden açmaz.

Otomatik yükseltmeler var olan tablolarımı değiştirir mi?

Evet, ancak yalnızca gözlem penceresi tabloya erişen her istemcinin özelliği desteklediğini onayladıktan sonra. Otomatik sıvı kümelemesi özel durumdur: Yalnızca yeni oluşturulan tablolar için geçerlidir, mevcut tablolar için geçerli değildir, çünkü bunu yapmak mevcut veri düzenlerini değiştirir.

Otomatik yükseltmelerin tahmine dayalı iyileştirmeden farkı nedir?

Tahmine dayalı iyileştirme, otomatik sıvı kümelemesi kullanma seçeneğiyle sıkıştırma ve vakum gibi işlemler aracılığıyla veri düzeninizi korur. Otomatik yükseltmeler, satır izleme veya Checkpoint V2 gibi yeni tablo özelliklerini açar. bu ikisi tamamlayıcıdır: biri tabloların bakımını iyi tutarken diğeri bunları güncel tutar. Otomatik yükseltmeler aracılığıyla yeni tablolara otomatik sıvı kümeleme uygulanır. Bkz. Unity Kataloğu tarafından yönetilen tablolar için tahmine dayalı optimizasyon.

Otomatik yükseltmeler bir tablonun yükseltilirken güvenli olduğunu nasıl doğrular?

Otomatik yükseltmeler yalnızca performansı önemli ölçüde düşürmeyen veya maliyeti artırmayen genel kullanıma sunulan özellikleri açar. Otomatik yükseltmeler gözlem penceresinde bekler, her erişen istemcinin uyumlu olmasını gerektirir, tam olarak doğrulayamadıkları tabloları atlar ve bir tablodaki herhangi bir özelliği istediğiniz zaman kapatmanıza olanak sağlar.

Tablom değiştiyse bunun otomatik yükseltmeden kaynaklandığını nasıl anlayabilirim?

Otomatik yükseltmelerin yaptığı her değişiklik tablonun DESCRIBE HISTORY çıkışında ve Katalog Gezgini'ndeki Geçmiş sekmesinde görünür ve kendi değişikliklerinizden ayrı olarak işaretlenir. Hesap genelinde görünürlük için herhangi bir özelliğin herhangi bir tabloya ne zaman eklendiğini görmek için sorguyu system.storage.table_auto_upgrade_operations_history çalıştırın. Bkz. Tablo geçmişini görüntüleme.

Otomatik yükseltmeler, dış veya açık kaynak araçlarımın okuduğu bir tabloyu bozar mı?

No. Dış veya açık kaynak istemcileri tarafından erişilen tablolar kapsam dışındadır. Otomatik yükseltmeler yalnızca tabloya erişen her istemcinin özelliği desteklediğini doğrulayabildiğinde çalışır.

Hangi tablolar otomatik yükseltme için uygundur?

Bkz . Gereksinimler ve Sınırlamalar.

Tablolarım ne kadar sürede yükseltilir? Değişiklikleri ne zaman göreceğim?

Otomatik yükseltmeler, işlemden önce aylık toplu işler, üç aylık raporlar ve geçici analiz gibi seyrek iş yüklerini yakalamak için gözlem penceresini kullanır. Bir tablo uyumlu olarak doğrulandıktan sonra, özellik kısa bir süre sonra arka plan işi aracılığıyla uygulanır. Bir özellik ilk kez piyasaya çıktığında, dağıtım müşteriler ve tablolar arasında aşamalı olarak gerçekleştirilen bir işlemdir, bu nedenle uyumlu iş yüklerine sahip tablolarınıza ulaşmak yaklaşık altı ay sürebilir.

Databricks'te tablo özelliklerini otomatik olarak açmak için ne yapmam gerekir?

Eylem gerekmez. Otomatik yükseltmeler uygun tabloları yapılandırma olmadan değerlendirir ve yükselter.

Hesabımın tamamı veya şema, katalog veya çalışma alanı için otomatik yükseltmeleri kapatabilir miyim?

Otomatik yükseltmeler tamamen kapatılamaz, ancak bir tablodaki tek tek özellikleri istediğiniz zaman kapatabilirsiniz. Bunu yaptıktan sonra, otomatik yükseltmeler bu tablo için bu özelliği yeniden açmaz.

Otomatik yükseltmeler herhangi bir maliyete mal oluyor mu?

Otomatik yükseltme işlemi (arka plan ALTER TABLE işlemleri) için ücret alınmaz.

Otomatik yükseltmeler aracılığıyla uygulanan özellikler bana herhangi bir maliyete mal oluyor mu?

Genel olarak, maliyetleri önemli ölçüde artıran özellikler otomatik yükseltmelerin dışında tutulur. Silme vektörleri ve Parquet v2 gibi çeşitli özellikler, depolama ve işlem maliyetlerini düşürür. Satır izleme, her satıra benzersiz bir tanımlayıcı atadığından çok büyük tablolara küçük bir kerelik ön maliyet ekler, ancak tam yeniden derleme yerine artımlı yenilemeyi etkinleştirerek Gerçekleştirilmiş görünümlerde tasarruf etmenizi de sağlar.

Gelecekte otomatik yükseltmeler aracılığıyla sunulacak özellikleri nasıl izleyebilirim?

Desteklenen özelliklere göz atarak hangi özelliklerin Herkese Açık Önizleme kapsamında olduğunu ve hangilerinin yakında tüm müşterilere sunulacağını görün. Yeni özellikler gönderildiğinde bildirim almak için Azure Databricks sürüm notları sayfasında bir RSS akışı ayarlayın. Neler geliyor? seçeneğini de kontrol edebilirsiniz.