Unity Kataloğu yönetilen tabloları için tahmine dayalı iyileştirme

Tahmine dayalı optimizasyon, Azure Databricks'te Unity Catalog tarafından yönetilen tablolarda (Delta Lake ve Iceberg) OPTIMIZE, VACUUM ve ANALYZE işlemlerini otomatik olarak çalıştırarak manuel bakım gereksinimini ve performans sorunlarını izlemeye harcanan zamanı ortadan kaldırır.

Tahmine dayalı iyileştirme etkinleştirildiğinde Databricks aşağıdakileri otomatik olarak yapar:

• Bakım işlemlerinden yararlanabilecek tabloları tanımlar ve bu işlemlerin çalıştırılması için kuyruğa alır.
• Veriler yönetilen bir tabloya yazıldığında istatistikleri toplar.

Bu, gereksiz bakım çalıştırmalarını ve performansı el ile izleme ve sorun giderme yükünü ortadan kaldırır.

Databricks, Unity Kataloğu tarafından yönetilen tüm tablolar için tahmine dayalı iyileştirme önerir. Örneğin, otomatik sıvı kümeleme, veri kullanım desenlerinize göre veri düzeninin akıllı iyileştirmesini kullanır. Bkz Tablolar için sıvı kümeleme kullanma.

Tahmine dayalı iyileştirme hangi işlemleri çalıştırır?

Tahmine dayalı iyileştirme Unity Kataloğu yönetilen tablolarında aşağıdaki işlemleri çalıştırır:

Otomatik sıvı kümeleme etkinleştirildiyse, tahmine dayalı iyileştirme verileri kümelemeden önce yeni kümeleme anahtarlarını seçebilir. Bkz. Otomatik sıvı kümeleme.

ALTER TABLE table_name SET TBLPROPERTIES ('delta.deletedFileRetentionDuration' = '30 days');

İşlem ve faturalama

Tahmine dayalı iyileştirme, işler için sunucusuz işlem kullanarak , ANALYZEve OPTIMIZE işlemlerini çalıştırırVACUUM. Hesabınız sunucusuz işlemler SKU'su kullanılarak bu işlem için faturalandırılır.

Databricks yönetilen hizmetleri için fiyatları görün. Bkz. Sistem tablolarıyla tahmine dayalı iyileştirmeyi izleme.

Önkoşullar

Tahmine dayalı iyileştirmeyi kullanmak için aşağıdaki gereksinimlerin karşılanması gerekir:

• Azure Databricks çalışma alanınız desteklenen bir bölgede Premium planında olmalıdır.
• SQL ambarlarını veya Databricks Runtime 12.2 LTS veya üzerini kullanmanız gerekir.
• Yalnızca Unity Kataloğu yönetilen tabloları desteklenir.

• Depolama hesaplarınız için özel bağlantı gerekiyorsa sunucusuz özel bağlantı yapılandırın. Bkz . Azure kaynaklarına özel bağlantı yapılandırma.

Tahmine dayalı iyileştirmeyi etkinleştirme

Hesap, katalog, şema veya tablo için tahmine dayalı iyileştirmeyi etkinleştirebilirsiniz. Varsayılan olarak, tüm Unity Catalog yönetilen tablolar hesap değerini devralır. Hesap varsayılanını katalog, şema veya tablo düzeyinde geçersiz kılabilirsiniz.

Tahmine dayalı iyileştirmeyi etkinleştirmek veya devre dışı bırakmak için aşağıdaki ayrıcalıklara sahip olmanız gerekir:

Hesabınız için tahmine dayalı iyileştirmeyi etkinleştirme veya devre dışı bırakma

Hesap yöneticisi bir hesaptaki tüm meta veri depoları için tahmine dayalı iyileştirmeyi etkinleştirebilir. Kataloglar ve şemalar bu ayarı varsayılan olarak devralır, ancak her iki düzeyde de geçersiz kılabilirsiniz.

1. Hesaplar konsoluna gidin.
2. Ayarlar'a ve ardından Özellik etkinleştirme'ye gidin.
3. Tahmine dayalı iyileştirme'nin yanındaki istediğiniz seçeneği (örneğin, Etkin) seçin.

Katalog, şema veya tablo için tahmine dayalı iyileştirmeyi etkinleştirme veya devre dışı bırakma

Tahmine dayalı iyileştirme bir devralma modeli kullanır. Bir katalog için etkinleştirildiğinde, bu katalogdaki şemalar ayarı devralır ve etkin bir şema içindeki tablolar da bu ayarı devralır. Bu davranışı geçersiz kılmak için katalog, şema veya tablo için tahmine dayalı iyileştirmeyi açıkça etkinleştirebilir veya devre dışı bırakabilirsiniz.

Tahmine dayalı iyileştirmeyi üst nesneden devralacak şekilde etkinleştirmek, devre dışı bırakmak veya sıfırlamak için aşağıdaki söz dizimini kullanın:

ALTER CATALOG [catalog_name] { ENABLE | DISABLE | INHERIT } PREDICTIVE OPTIMIZATION;
ALTER { SCHEMA | DATABASE } schema_name { ENABLE | DISABLE | INHERIT } PREDICTIVE OPTIMIZATION;
ALTER TABLE table_name { ENABLE | DISABLE | INHERIT } PREDICTIVE OPTIMIZATION;

Bkz. ALTER TABLE.

Tahmine dayalı iyileştirmenin etkinleştirilip etkinleştirilmediğini doğrulama

alanı Predictive Optimization , tahmine dayalı iyileştirmenin etkinleştirilip etkinleştirilmediğini gösteren bir Unity Kataloğu özelliğidir. Ayar bir üst nesneden devralındıysa, alan değeri bunu gösterir.

Durumu denetlemek için aşağıdaki söz dizimini kullanın:

DESCRIBE (CATALOG | SCHEMA | TABLE) EXTENDED name

Tahmine dayalı iyileştirmenin tabloyu atlama nedenini denetleme

Databricks Runtime 18 ve üzerinde, tahmine dayalı iyileştirme yönetilen tabloyu değerlendirdikten sonra, işlemin neden atlandığını görmek için Katalog Gezgini'ndeki Geçmiş sekmesini kullanın. Sonuçların görüntülenmesi 24 saate kadar sürebilir.

Katalog Gezgini'nde geçmiş sekmesini kullanma

Katalog Gezgini'nde bir tablonun Geçmiş sekmesinde atlama nedenlerini görüntüleyebilirsiniz. İşlem sütununda, Otomatik etiketi işlemin çalıştırıldığını, Uygulanmadı etiketi ise işlemin atlandığını gösterir. Otomatik etiketi, öngörücü iyileştirmeyi ve akış otomatik sıkıştırması gibi diğer otomatik işlemleri içerir.

Atlama nedenini görüntülemek için İşlem sütununda Uygulanmadı etiketine sahip bir satıra tıklayın.

Aşağıdaki tabloda Katalog Gezgini'nde gösterilen otomatik işlem türleri açıklanmaktadır:

Sistem tablolarıyla tahmine dayalı iyileştirmeyi izleme

Databricks, tahmine dayalı optimizasyon işlemlerine, maliyetlere ve etkiye dair görünürlük sağlamak için sistem tablosunu system.storage.predictive_optimization_operations_history sunar. Bkz. Tahmine dayalı iyileştirme sistemi tablo referansı.

Özel bağlantı hata iletisi

Sistem tablosunda işlemler FAILED: PRIVATE_LINK_SETUP_ERROR ile başarısız olarak işaretlenirse, sunucusuz özel bağlantı doğru yapılandırılmamış olabilir. Bkz . Azure kaynaklarına özel bağlantı yapılandırma.

Sınırlamalar

Tahmine dayalı iyileştirme aşağıdaki tablo türlerinde çalışmaz:

• Çalışma alanına OpenSharing alıcıları olarak yüklenen tablolar
• Dış tablolar