Databricks'te varsayılan depolama

Bu sayfada Azure Databricks'te varsayılan depolamanın nasıl çalıştığı ve bunu kullanan katalogların ve veri nesnelerinin nasıl oluşturulacağı açıklanmaktadır.

Varsayılan depolama nedir?

Varsayılan depolama, Azure Databricks hesabınızda kullanıma hazır depolama sağlayan tam olarak yönetilen bir nesne depolama platformudur. Bazı Azure Databricks özellikleri, dış depolamaya alternatif olarak varsayılan depolamayı kullanır.

Sunucusuz çalışma alanları, iç ve çalışma alanı depolaması için ve çalışma alanıyla oluşturulan varsayılan katalog için varsayılan depolamayı kullanır. Sunucusuz çalışma alanlarında, varsayılan depolama alanında veya kendi bulut nesne depolama alanınızda ek kataloglar oluşturabilirsiniz.

Hem klasik çalışma alanlarında hem de sunucusuz çalışma alanlarında varsayılan depolama, denetim düzlemi meta verileri, türetilmiş veriler, modeller ve diğer yapıtlar gibi öğeleri depolamak için özellikler tarafından kullanılır. Örneğin, Temiz Odalar, Veri Sınıflandırması, Anomali algılama, Bilgi Yardımcısı ve sunucusuz not defterleri için otomatik oturum geri yükleme işlemleri çalışma alanının varsayılan depolama alanını kullanır. Her özelliğin varsayılan depolamada ne depolar hakkında ayrıntılı bilgi için tek tek özellik belgelerine bakın.

Gereksinimler

• Varsayılan depolama alanında katalog oluşturma işlemi yalnızca sunucusuz çalışma alanlarında kullanılabilir.
• Varsayılan olarak, varsayılan depolamayı kullanan kataloglara yalnızca oluşturuldukları çalışma alanından erişilebilir. Klasik çalışma alanları da dahil olmak üzere diğer çalışma alanlarına erişim verilmektedir, ancak katalogdaki verilere erişmek için sunucusuz işlem kullanmaları gerekir. Bkz . Çalışma alanı-katalog bağlaması.
• Varsayılan depolama alanına sahip bir katalog oluşturmak için ayrıcalıklara sahip CREATE CATALOG olmanız gerekir. Bkz Unity Kataloğu ayrıcalıkları referansı.
• İstemciniz bir güvenlik duvarının arkasından varsayılan depolama kataloğuna erişmek için Azure Databricks ODBC sürücüsünü kullanıyorsa, güvenlik duvarınızı Azure Databricks bölgesel depolama ağ geçitlerine erişime izin verecek şekilde yapılandırmanız gerekir. Varsayılan depolama için IP ve etki alanı adı ayrıntıları için bkz. Azure Databricks hizmetleri ve varlıkları için IP adresleri ve etki alanları.

Yeni katalog oluşturma

Varsayılan depolama alanını kullanarak yeni bir katalog oluşturmak için aşağıdaki adımları tamamlayın:

1. Kenar çubuğunda katalog. Katalog Gezgini görüntülenir.
2. Katalog oluştur'a tıklayın. Yeni katalog oluştur iletişim kutusu görüntülenir.
3. Hesabınızda benzersiz bir Katalog adı belirtin.
4. Varsayılan depolamayı kullan seçeneğini belirleyin.
5. Oluştur'utıklayın.

Sunucusuz çalışma alanlarında, varsayılan depolama alanınızda yeni bir katalog oluşturmak için aşağıdaki SQL komutunu da kullanabilirsiniz. Katalog için bir konum belirtmeniz gerekmez.

CREATE CATALOG [ IF NOT EXISTS ] catalog_name
    [ COMMENT comment ]

Varsayılan depolama ile çalışma

Varsayılan depolama ile tüm etkileşimler için sunucusuz çalışan, Unity Kataloğu etkin hesaplama kapasitesi gereklidir.

Varsayılan depolama tarafından yedeklenen kaynaklar Unity Kataloğu'ndaki diğer nesnelerle aynı ayrıcalık modelini kullanır. Veri nesneleri oluşturmak, görüntülemek, sorgulamak veya değiştirmek için yeterli ayrıcalıklara sahip olmanız gerekir. Bkz Unity Kataloğu ayrıcalıkları referansı.

Varsayılan depolama alanı tarafından yedeklenen yönetilen tablolar ve yönetilen birimler oluşturup bunlarla etkileşim kurarak varsayılan depolama ile çalışırsınız. Bkz. Delta Lake ve Apache Iceberg için Unity Catalog tarafından yönetilen tablolar ve Unity Catalog birimleri nelerdir?.

Katalog Gezgini'ni, not defterlerini, SQL düzenleyicisini ve panoları kullanarak varsayılan depolamada depolanan veri nesneleriyle etkileşim kurabilirsiniz.

Örnek görevler

Aşağıda, varsayılan depolama ile tamamlayabileceğiniz görevlere örnekler verilmiştir:

• Yerel dosyaları yönetilen bir birime yükleyin veya yönetilen tablo oluşturun. Bkz . Unity Kataloğu birimlerindeki dosyalarla çalışma ve Dosya yükleme kullanarak tablo oluşturma veya değiştirme.
• Not defterleriyle verileri sorgulama. Bkz. Öğretici: Not defterinden verileri sorgulama ve görselleştirme.
• Pano oluşturun. Bkz. Pano oluşturma.
• SQL ile verileri sorgulayın ve SQL sorguları zamanlayın. Bkz . Yeni SQL düzenleyicisinde sorgu yazma ve verileri keşfetme.
• Harici birimden yönetilen bir tabloya veri aktarımı. Bkz. Unity Kataloğu ile Otomatik Yükleyici kullanma.
• Fivetran ile yönetilen bir tabloya veri alma. Bkz. Fivetran'a bağlanma.
• Yönetilen tabloları keşfetmek için BI araçlarını kullanın. Bkz. Tableau ve Azure Databricks'i Bağlama ve Azure Databricks ile Power BI'ı Bağlama.
• Sunucusuz not defterlerini çalıştırın. Not defterleri için sunucusuz işlem bölümüne bakın.
• Sunucusuz işleri çalıştırma. İş akışları için bkz. Lakeflow İşlerinizi sunucusuz işlemle çalıştırma.
• Uç noktalara hizmet veren modeli çalıştırın. Bkz. Model Serving kullanarak model dağıtma.
• Sunucusuz Lakeflow işlem hatlarını çalıştırın. Bkz . Sunucusuz işlem hattı yapılandırma.
• Tablolarınızda tahmine dayalı iyileştirmeyi kullanın. Bkz. Unity Kataloğu tarafından yönetilen tablolar için tahmine dayalı optimizasyon.

Nesneyi bıraktıktan sonra depolama yaşam döngüsü

Varsayılan depolamayı kullanan bir yönetilen tabloyu veya birimi sildiğinizde, veri dosyaları 7 günlük kurtarma penceresine izin verecek şekilde korunur. Kurtarma penceresi sona erdikten sonra, veri dosyaları 48 saat içinde kalıcı olarak silinir (temizlenir). Depolama faturalaması kurtarma penceresi sırasında devam eder ve kurtarma penceresi sona erdiğinde durur. Veri dosyası yaşam döngüsü, faturalama ve kurtarma seçenekleri hakkında ayrıntılı bilgi için bkz. Unity Kataloğu'nda Nesne depolama yaşam döngüsü.

Sınırlamalar

Aşağıdaki sınırlamalar geçerlidir:

• Klasik işlem (sunucusuz olmayan herhangi bir işlem), varsayılan depolamadaki veri varlıklarıyla etkileşim kuramaz.
• OpenSharing, tabloların açık veya Azure Databricks herhangi bir alıcıyla paylaşılması destekler ve alıcılar paylaşılan tablolara erişmek için klasik işlem kullanabilir (Genel Önizleme). Hesap konsolunuzda Varsayılan Depolama – Genişletilmiş Erişim için OpenSharing özelliğini etkinleştirin.
  • Bu özellik şu bölgelerde desteklenmez: southcentralus, uksouthve westus2.
  • Diğer tüm paylaşılabilir varlıklar yalnızca aynı bulut üzerindeki Azure Databricks alıcılarla açık paylaşılabilir. Alıcıların sunucusuz işlem kullanması gerekir.
• Bölümlendirme etkinleştirilmiş tablolar açık paylaşıma açılamaz.
• Dış Iceberg ve Delta istemcileri varsayılan depolamadaki UC tabloları için temel meta verilere, bildirim listesine ve veri dosyalarına doğrudan erişemez (FileIO erişimi desteklenmez). Ancak Power BI ve Tableau gibi BI araçları ODBC ve JDBC sürücülerini kullanarak varsayılan depolamadaki Unity Kataloğu tablolarına erişebilir. Dış istemciler, Dosyalar API'sini kullanarak varsayılan depolamadaki Unity Kataloğu birimlerine de erişebilir.
• Varsayılan depolama, ODBC sürücüsünün daha büyük veri kümeleri üzerindeki sorgular için Cloud Fetch performans iyileştirmesi de dahil olmak üzere Azure Databricks ODBC ve JDBC sürücüleri aracılığıyla dış erişimi destekler. Ancak, ön uç Özel Bağlantı etkinleştirilmiş bir çalışma alanından varsayılan depolama tablosuna erişiyorsanız, varsayılan depolama tabloları için Bulut Getirme iyileştirmesi şu anda ön uç Özel Bağlantı desteklemediğinden yaklaşık 5 MiB'den büyük sonuçlar döndüren ODBC istemci sorgularınız başarısız olur.
• Kimlik bilgisi verme işlemleri, dış sistemlerin Unity REST API veya Iceberg REST kataloğuna bağlanması gibi durumlarda desteklenmez. Bkz. dış sistem erişimi için Unity Kataloğu kimlik bilgileri dağıtımı.