Azure Databricks'te tablo boyutu

Delta Lake ve Apache Iceberg tabloları için bildirilen tablo boyutu, bulut nesne depolama alanında karşılık gelen dosya dizinlerinin toplam boyutundan farklıdır. Bu veri biçimleri, zaman yolculuğu sorgularına izin vermek için veri dosyalarının önceki sürümlerini korur. Veri dosyaları yalnızca saklama eşiği aşıldıktan sonra VACUUM çalıştığında kaldırılır. Bkz. Vakumile kullanılmayan veri dosyalarını kaldırma.

Tablo boyutu dizin boyutundan neden farklıdır?

Azure Databricks'te kullanıcı arabirimleri ve DESCRIBE komutları üzerinden bildirilen tablo boyutları, tablonun geçerli sürümünde atıfta bulunulan dosyalara karşılık gelen depolamadaki veri dosyalarının toplam boyutunu ifade eder. Tablolara yazan işlemlerin çoğu, temel alınan veri dosyalarının yeniden yazılmasını ve zaman yolculuğu sorgularına izin vermek için eski veri dosyalarının korunmasını gerektirir.

Tablo için depolama ölçümlerini hesapla

Şunun için geçerlidir: Databricks Runtime 18.0 ve üzeri

Toplam depolama boyutunun tablo boyutundan neden farklı olduğunu anlamak için kullanın ANALYZE TABLE … COMPUTE STORAGE METRICS. Bu komut, depolama ayırma işleminin ayrıntılı dökümünü gösterir ve aşağıdakilere yardımcı olur:

• Maliyet iyileştirme fırsatlarını belirleme: Ne kadar depolama alanının geri alınabileceğini görün VACUUM
• Zaman yolculuğu ek yükünü analiz etme: Geçmiş verileri saklamanın maliyetini anlama
• Depolama desenlerini izleme: Komutu düzenli aralıklarla çalıştırarak tablo depolamanın zaman içinde nasıl geliştiğini izleyin
• Tablolar arasında depolamayı denetleme: Veri varlığınızın tamamını analiz etmek için komutunu döngüde çalıştırın

komutu aşağıdakiler dahil olmak üzere kapsamlı ölçümler döndürür:

• Toplam depolama boyutu: Tüm veriler, meta veriler ve günlükler dahil olmak üzere tam ayak izi
• Etkin veriler: Geçerli tablo sürümünün boyutu
• Vakumlanabilir veriler: Geri kazanılabilen alan
• Zaman yolculuğu verileri: Geriye dönüş işlemleri için geçmiş veriler

Bu özellikle, Azure Databricks'in tahmine dayalı iyileştirme yoluyla depolamayı otomatik olarak yönettiği Unity Kataloğu yönetilen tabloları için önemlidir.

"C1> Tam söz dizimi ve örnekler için ANALYZE TABLE ... HESAPLAMA DEPOLAMA METRİKLERİNE bakın."

Veri boyutunu denetlemek için tahmine dayalı iyileştirmeyi kullanma

Databricks, Unity Kataloğu yönetilen tablolarının tahmine dayalı iyileştirme etkinleştirilmiş olarak kullanılmasını önerir. Yönetilen tablolar ve tahmine dayalı iyileştirme sayesinde Databricks, kullanılmayan veri dosyalarının birikmesini önlemek için otomatik olarak çalışır OPTIMIZE ve VACUUM komutları çalıştırır. Bir tablonun geçerli sürümü ile bulut nesne depolaması içindeki veri dosyalarının toplam boyutu arasında her zaman bir boyut farkı olmasını bekleyebilirsiniz. Geçerli sürümde başvurulmayan veri dosyaları, zaman yolculuğu sorgularını desteklemek için gereklidir. Bakınız Unity Kataloğu yönetilen tabloları için tahmine dayalı iyileştirme.

VACUUM depolama ölçümleri

Kullanılmayan veri dosyalarını VACUUM ile temizlediğinizde veya kaldırma için ayarlanan dosyaların önizlemesini görüntülemek için DRY RUN kullandığınızda ölçümler dosya sayısını ve kaldırılan verilerin boyutunu bildirir. tarafından VACUUM kaldırılan dosyaların boyutu ve sayısı büyük ölçüde değişir, ancak kaldırılan dosyaların boyutunun tablonun geçerli sürümünün toplam boyutunu aşması yaygın bir durumdur.

OPTIMIZE depolama ölçümleri

hedef tabloda OPTIMIZE çalıştırıldığında, yeni veri dosyaları mevcut veri dosyalarındaki kayıtları birleştirir. OPTIMIZE sırasında kaydedilen değişiklikler yalnızca veri organizasyonunu etkiler ve altta yatan veri içeriğinde herhangi bir değişiklik meydana gelmez. Yeni sıkıştırılmış dosyalar eski iyileştirilmemiş veri dosyalarıyla birlikte içeren dizinde bulunduğundan, tablo için temel alınan veri dosyalarının toplam boyutu çalıştırıldıktan sonra OPTIMIZE artar.

Genel olarak, OPTIMIZE'dan sonra bildirilen tablonun boyutu, OPTIMIZE çalıştırılmadan önceki boyuttan daha küçüktür çünkü geçerli tablo sürümü tarafından referans verilen veri dosyalarının toplam boyutu veri sıkıştırma ile azalır. Temel veri dosyalarını kaldırmak için, VACUUM saklama eşiği aşıldıktan sonra çalışmalıdır.