OpenSharing nedir?

Bu sayfada, Azure Databricks kullanıp kullanmadıklarına bakılmaksızın Azure Databricks içindeki verileri ve yapay zeka varlıklarını kuruluşunuzun dışındaki kullanıcılarla paylaşmanıza olanak tanıyan güvenli veri paylaşım platformu Azure Databricks OpenSharing tanıtılabilir. OpenSharing, veri ürünlerinin alışverişi için açık bir forum olan Databricks Market'in ve birden çok tarafın hassas kurumsal veriler üzerinde birlikte çalışabileceği güvenli ve gizliliği koruyan bir ortam olan Clean Rooms'un da temelini oluşturur.

OpenSharing, delta tablolarını diğer platformlardan paylaşmak için kullanabileceğiniz bir açık kaynak proje olarak da kullanılabilir.

OpenSharing nasıl çalışır?

OpenSharing , Databricks tarafından diğer kuruluşlarla güvenli veri paylaşımı için geliştirilen açık bir protokoldür . Bu kuruluşların kullandığı bilgi işlem platformlarından bağımsız olarak çalışır.

OpenSharing kullanarak veri paylaşmanın birkaç yolu vardır:

1. Databricks'ten Databricks'e paylaşım protokolü, Unity Kataloğu özellikli bir Databricks çalışma alanına erişimi olan kullanıcılarla Unity Kataloğu özellikli çalışma alanınızdaki verileri ve yapay zeka varlıklarını paylaşmanızı sağlar.

   Bu yaklaşım, Azure Databricks yerleşik OpenSharing sunucusunu kullanır. Not defteri paylaşımı, Unity Kataloğu birim paylaşımı, Unity Kataloğu yapay zeka modeli paylaşımı, Unity Kataloğu veri idaresi, denetim ve hem sağlayıcılar hem de alıcılar için kullanım izleme gibi diğer protokollerde desteklenmeyen bazı OpenSharing özelliklerini destekler. Unity Kataloğu ile tümleştirme, hem sağlayıcılar hem de alıcılar için kurulumu ve idareyi basitleştirir ve performansı artırır.

   Bkz. OpenSharing Databricks'ten Databricks'e protokolü nedir?.

2. Unity Kataloğu özellikli Databricks çalışma alanında yönettiğiniz tablo verilerini herhangi bir bilgi işlem platformundaki kullanıcılarla paylaşmanızı sağlayan Databricks-Açık paylaşım protokolü.

   Bu yaklaşım, Azure Databricks yerleşik olarak bulunan OpenSharing sunucusunu kullanır ve Unity Kataloğu'nu kullanarak verileri yönettiğiniz ve Databricks kullanmayan veya Unity Kataloğu özellikli Databricks çalışma alanına erişimi olmayan kullanıcılarla paylaşmak istediğinizde yararlıdır. Sağlayıcı tarafında Unity Kataloğu ile tümleştirme, sağlayıcılar için kurulumu ve idareyi basitleştirir.

   Bkz. Databricks-To-Open paylaşım protokolü nedir?

3. Databricks olsun veya olmasın, herhangi bir platformdan herhangi bir platforma paylaşım yapmanızı sağlayan, açık kaynak OpenSharing sunucusunun müşteri tarafından yönetilen uygulaması.

   Azure Databricks belgeleri kendi OpenSharing sunucunuzu ayarlama yönergelerini kapsamaz. açık kaynak projesine bakın.

4. Azure Databricks için SAP Business Data Cloud (BDC) Bağlayıcısı, Unity Kataloğu etkin çalışma alanınız ile SAP BDC hesabınız arasında veri paylaşmanıza olanak tanır.

   Bu yaklaşım, SAP BDC veri ürünlerine canlı ve sıfır kopya erişimi için OpenSharing kullanan SAP BDC Bağlayıcısı'nı kullanır.

   Bkz. Azure Databricks için SAP BDC Bağlayıcısı nedir?.

Paylaşımlar, sağlayıcılar ve alıcılar

Azure Databricks'de OpenSharing'in temel aldığı birincil kavramlar paylaşımlar, sağlayıcılar ve alıcılardır.

Paylaşım nedir?

OpenSharing'de paylaşım , sağlayıcının bir veya daha fazla alıcıyla paylaşmak istediği tablo ve tablo bölümlerinden oluşan salt okunur bir koleksiyondur. Alıcınız Unity Kataloğu özellikli bir Databricks çalışma alanı kullanıyorsa not defteri dosyalarını, görünümleri (satır ve sütun düzeyinde erişimi kısıtlayan dinamik görünümler dahil), Unity Kataloğu birimlerini ve Unity Kataloğu modellerini de bir paylaşıma ekleyebilirsiniz.

İstediğiniz zaman bir paylaşımdan tablolar, akış tabloları, yönetilen Iceberg tabloları, görünümler, gerçekleştirilmiş görünümler, birimler, modeller ve not defteri dosyaları ekleyebilir veya kaldırabilir ve bir paylaşıma veri alıcısı erişimini istediğiniz zaman atayabilir veya iptal edebilirsiniz.

Unity Kataloğu özellikli Azure Databricks çalışma alanında paylaşım, Unity Kataloğu'nda kayıtlı güvenli hale getirilebilir bir nesnedir. Unity Kataloğu meta veri deponuzdan bir paylaşımı kaldırırsanız, bu paylaşımın tüm alıcıları bu paylaşıma erişim yeteneğini kaybeder.

Bkz. OpenSharing için paylaşım oluşturma.

Sağlayıcı nedir?

sağlayıcı, verileri alıcıyla paylaşan bir varlıktır. Bir sağlayıcıysanız ve yerleşik Databricks OpenSharing sunucusundan yararlanmak ve Unity Kataloğu'nu kullanarak paylaşımları ve alıcıları yönetmek istiyorsanız, Unity Kataloğu için etkinleştirilmiş en az bir Azure Databricks çalışma alanınız olmalıdır. Mevcut çalışma alanlarınızın tümünü Unity Kataloğu'na geçirmeniz gerekmez. OpenSharing gereksinimleriniz için Unity Kataloğu özellikli yeni bir çalışma alanı oluşturabilirsiniz.

Alıcı, Unity Catalog özellikli bir Databricks çalışma alanındaysa, sağlayıcı da sağlayıcı kuruluşunu temsil eden ve bu kuruluşu bir paylaşım kümesiyle ilişkilendiren güvenli bir Unity Catalog nesnesidir.

Alıcı nedir?

alıcı, bir sağlayıcıdan hisse alan bir varlıktır. Unity Kataloğu'nda paylaşım, bir kuruluşu temsil eden ve kuruluşun bir veya daha fazla paylaşıma erişmesini sağlayan bir kimlik bilgisi veya güvenli paylaşım tanımlayıcısıyla ilişkilendiren güvenli bir nesnedir.

Veri sağlayıcısı (paylaşan) olarak, belirli bir Unity Kataloğu meta veri deposu için birden çok alıcı tanımlayabilirsiniz, ancak birden çok meta veri deposundaki verileri belirli bir kullanıcı veya kullanıcı grubuyla paylaşmak istiyorsanız, alıcıyı her meta veri deposu için ayrı olarak tanımlamanız gerekir. Bir alıcı birden çok paylaşıma erişebilir.

Sağlayıcı bir alıcıyı Unity Kataloğu meta veri deposundan silerse, bu alıcı daha önce erişebileceği tüm paylaşımlara erişimi kaybeder.

Bkz: OpenSharing için veri alıcıları oluşturma (Databricks'ten Databricks'e paylaşım).

Databricks'ten Open'a paylaşım ile Databricks'ten Databricks'e paylaşım karşılaştırması

Bu bölümde Unity Kataloğu için etkinleştirilmiş bir Databricks çalışma alanından paylaşıma yönelik iki protokol açıklanmaktadır.

Sağlayıcının Azure Databricks'de OpenSharing'i kullanma şekli, verileri kiminle paylaştığına bağlıdır:

• Açık paylaşım, Azure Databricks erişimine sahip olup olmamalarına bakılmaksızın tüm kullanıcılarla veri paylaşmanıza olanak tanır.
• Databricks'ten Databricks'e paylaşım , çalışma alanları sizin çalışma alanınızdan farklı bir Unity Kataloğu meta deposuna bağlı olan Azure Databricks kullanıcılarıyla veri paylaşmanızı sağlar. Databricks-Databricks, Databricks-To-Open paylaşımında bulunmayan not defteri, birim ve model paylaşımını da destekler.

Açık OpenSharing nedir?

Databricks kullanıp kullanmadıklarına bakılmaksızın verileri Azure Databricks çalışma alanınızın dışındaki kullanıcılarla paylaşmak istiyorsanız, verilerinizi güvenli bir şekilde paylaşmak için open OpenSharing'i kullanabilirsiniz. Veri sağlayıcısı olarak, aşağıdaki yöntemlerden birini kullanarak paylaşım alıcısıyla kimlik doğrulamasını yönetirsiniz:

• Uzun ömürlü bir taşıyıcı belirteci oluşturur ve alıcıyla güvenli bir şekilde paylaşırsınız. Kimlik doğrulaması yapmak ve onlara erişim sağladığınız paylaşımlara eklediğiniz tablolara okuma erişimi elde etmek için belirteci kullanırlar.
• Alıcının kimlik sağlayıcısının (IdP) Databricks'e ilettiği JWT belirteçleri karşılığında alıcıya kısa ömürlü Databricks OAuth belirteçleri veren Open ID Connect (OIDC) federasyonunu kullanırsınız.

Alıcılar, aşağıdakiler dahil olmak üzere birçok bilgi işlem aracı ve platformu kullanarak paylaşılan verilere erişebilir:

• Azure Databricks
• Apache Spark
• Pandas
• Power BI

OpenSharing bağlayıcılarının tam listesi ve bunların nasıl kullanılacağı hakkında bilgi için OpenSharing belgelerine bakın.

Ayrıca bkz. Databricks-Open paylaşım protokolü nedir?.

Databricks'ten Databricks'e OpenSharing nedir?

Unity Kataloğu için etkinleştirilmiş bir Databricks çalışma alanı olan kullanıcılarla veri paylaşmak istiyorsanız, Databricks-To-Databricks OpenSharing'i kullanabilirsiniz. Databricks-Databricks paylaşımı, AWS, Azure veya GCP'de olsun diğer Databricks hesaplarındaki kullanıcılarla veri paylaşmanızı sağlar. Ayrıca kendi Databricks hesabınızdaki farklı Unity Kataloğu meta veri depolarında verileri güvenli bir şekilde paylaşmanın da harika bir yoludur. Aynı Unity Kataloğu meta deposuna bağlı çalışma alanları arasında veri paylaşmak için OpenSharing'i kullanmanıza gerek olmadığını unutmayın, çünkü bu senaryoda çalışma alanları arasında verilere erişimi yönetmek için Unity Kataloğu'nu kullanabilirsiniz.

Databricks-Databricks paylaşımının avantajlarından biri, paylaşım alıcısının paylaşıma erişmek için bir jetonun gerekli olmaması ve sağlayıcının alıcı jetonlarını yönetmesi gerekmemesidir. Tüm kimlik doğrulaması, kimlik doğrulaması ve denetim dahil olmak üzere paylaşım bağlantısının güvenliği tamamen OpenSharing ve Databricks platformu aracılığıyla yönetilir. Bir diğer avantajı da Databricks not defteri dosyalarını, Unity Kataloğu birimlerini ve Unity Kataloğu modellerini paylaşabilmektir.

Ayrıca bkz. OpenSharing Databricks-To-Databricks protokolü nedir?.

Sağlayıcı yöneticileri OpenSharing'i nasıl ayarlar?

Bu bölümde sağlayıcıların OpenSharing'i nasıl etkinleştirebileceğine ve Unity Kataloğu'nun etkin olduğu bir Azure Databricks çalışma alanından paylaşımı nasıl başlatabileceğine ilişkin genel bir bakış sağlıyoruz. Açık kaynak OpenSharing için bkz. açık kaynak projesi.

Aynı hesaptaki Unity Kataloğu meta veri depoları arasında Databricks-Databricks paylaşımı daima etkin durumdadır. OpenSharing'in diğer hesaplardaki veya Databricks olmayan istemcilerdeki Databricks çalışma alanlarıyla veri paylaşmasını etkinleştirmek isteyen bir sağlayıcıysanız, Azure Databricks hesap yöneticisi veya meta veri deposu yöneticisi aşağıdaki kurulum adımlarını gerçekleştirir (üst düzeyde):

1. Paylaşmak istediğiniz verileri yöneten Unity Kataloğu meta veri deposu için OpenSharing'i etkinleştirin.

   Note

   OpenSharing'i kullanarak yalnızca hesabınızdaki diğer Unity Kataloğu meta veri depolarındaki kullanıcılarla veri paylaşmak istiyorsanız, meta veri deponuzda OpenSharing'i etkinleştirmeniz gerekmez. Tek bir Azure Databricks hesabı içinde meta veri deposundan meta veri deposuna paylaşım varsayılan olarak etkindir.

   Bkz. Meta veri deposunda OpenSharing'i etkinleştirme.

2. Unity Kataloğu meta veri deposunda kayıtlı veri varlıklarını içeren bir paylaşım oluşturun.

   Databricks kullanmayan bir alıcıyla (Databricks’ten Open’a paylaşım olarak bilinir) paylaşıyorsanız, Delta biçimindeki tabloları ekleyebilirsiniz. Databricks'tan Databricks'e paylaşımıkullanmayı planlıyorsanız, görünümleri, Unity Kataloğu birimlerini, Unity Kataloğu modellerini ve not defteri dosyalarını da paylaşıma ekleyebilirsiniz.

   Bkz. OpenSharing için paylaşım oluşturma.

3. Alıcı oluşturma.

   Bkz: OpenSharing için veri alıcıları oluşturma (Databricks'ten Databricks'e paylaşım).

   Alıcınız bir Databricks kullanıcısı değilse veya Unity Kataloğu için etkinleştirilmiş bir Databricks çalışma alanına erişimi yoksa Databricks-To-Open paylaşımını kullanmanız gerekir. Bu alıcı için taşıyıcı belirteç tabanlı kimlik bilgileri oluşturabilir veya OIDC federasyonu kullanabilirsiniz.

   Alıcınız Unity Catalog için etkinleştirilmiş bir Databricks çalışma alanına erişebiliyorsa, Databricks-to-Databricks paylaşımını kullanabilirsiniz ve belirteç tabanlı kimlik bilgilerine gerek yoktur. Alıcıdan paylaşım tanımlayıcısı isteyin ve güvenli bağlantıyı kurmak için bu tanımlayıcıyı kullanın.

   İpucu

   Kurulum işlemini denemek için kendinizi test alıcısı olarak kullanın.

4. Alıcıya bir veya daha fazla paylaşıma erişim izni verin.

   Bkz. OpenSharing veri paylaşımlarına erişimi yönetme (sağlayıcılar için).

   Note

   Bu adım, USE SHAREUSE RECIPIENT ve ayrıcalıklarına sahip SET SHARE PERMISSIONyönetici olmayan bir kullanıcı tarafından da gerçekleştirilebilir. Bkz Unity Kataloğu ayrıcalıkları referansı.

5. Alıcıya paylaşıma bağlanması için gereken bilgileri gönderin (yalnızca Databricks-To-Open paylaşımı).

   Taşıyıcı belirteçleri kullanarak Databricks-Open paylaşımında, alıcıya belirteç tabanlı kimlik bilgilerini indirmesine olanak tanıyan bir etkinleştirme bağlantısı göndermek için güvenli bir kanal kullanın. Bkz. Alıcıya bağlantı bilgilerini gönderme.

   OIDC belirteç federasyonu kullanarak Databricks'ten Open'a paylaşım için oluşturulan portal adresini gönderin. Bkz. OpenSharing alıcıları için Open ID Connect (OIDC) federasyonu etkinleştirme.

   Databricks-Databricks paylaşımı için paylaşıma dahil edilen veriler, erişim izni verildiği anda alıcının Databricks çalışma alanında kullanılabilir hale gelir.

Alıcı artık paylaşılan verilere erişebilir.

Alıcılar paylaşılan verilere nasıl erişebilir?

Alıcılar paylaşılan veri varlıklarına salt okunur biçimde erişmektedir. Paylaşılan not defteri dosyaları salt okunur durumdadır, ancak kopyalanabilir ve daha sonra diğer tüm not defterleri gibi alıcı çalışma alanında değiştirilebilir ve çalıştırılabilir.

Güvenli erişim, paylaşım modeline bağlıdır:

• Databricks’ten Open’a paylaşımın (alıcının Unity Catalog için etkinleştirilmiş bir Databricks çalışma alanı yoksa) iki seçeneği vardır:

  • Taşıyıcı belirteç akışında alıcı, Apache Spark, pandas, Power BI, Databricks ve daha birçok araçta verilere her erişişinde kimlik bilgilerini sağlar. Bkz. Taşıyıcı belirteçlerle paylaşılan verileri okuma.
  • OIDC belirteci federasyon akışında, alıcı veya alıcının istemci uygulaması kendi kimlik sağlayıcısını (IdP) kullanarak verilere erişir. Bkz. U2M akışında Open ID Connect (OIDC) federasyonu kullanılarak paylaşılan verileri okuma ve M2M akışında Open ID Connect (OIDC) federasyonu kullanılarak paylaşılan verileri okuma.

• Databricks'ten Databricks'e (Unity Kataloğu için alıcı çalışma alanı etkinleştirildi): Alıcı, Databricks'i kullanarak verilere erişir. Unity Kataloğu'nu kullanarak Databricks hesaplarındaki diğer kullanıcılara erişim izni verebilir ve erişimi reddedebilirler. Bkz. Databricks-to-Databricks OpenSharing (alıcılar için) kullanılarak paylaşılan verileri okuma.

Veri sağlayıcısı kendi Databricks hesabındaki veri tablolarını veya birimleri güncelleştirdiğinde, güncelleştirmeler alıcının sisteminde neredeyse gerçek zamanlı olarak görünür. OpenSharing kullanarak sizinle paylaşılan verilere nasıl erişeceğinizi öğrenmek için bkz. OpenSharing kullanarak sizinle paylaşılan verilere erişme (alıcılar için).

Paylaşılan verileri paylaşan ve bunlara erişen kişileri nasıl takip edebilirsiniz?

Unity Kataloğu'nun etkinleştirildiği Azure Databricks çalışma alanlarındaki veri sağlayıcıları, paylaşımların ve alıcıların oluşturulmasını ve değiştirilmesini izlemek için Azure Databricks denetim günlüğünü ve sistem tablolarını kullanabilir ve paylaşımlardaki alıcı etkinliğini izleyebilir. Bkz. Veri paylaşımını denetleme ve izleme.

Databricks çalışma alanında paylaşılan verileri kullanan veri alıcıları, hangi verilere kimin eriştiğini anlamak için Databricks denetim günlüğünü ve sistem tablolarını kullanabilir. Bkz. Veri paylaşımını denetleme ve izleme.

Hacimleri paylaşma

Databricks'ten Databricks'e paylaşım akışını kullanarak hacimleri paylaşabilirsiniz. Bkz.: Bir paylaşıma birimler ekleme (sağlayıcılar için) ve Databricks-to-Databricks OpenSharing kullanılarak paylaşılan verileri okuma (alıcılar için).

Modelleri paylaşma

Databricks ile Databricks paylaşım akışını kullanarak modelleri paylaşabilirsiniz. Bkz. Paylaşıma model ekleme (sağlayıcılar için) ve Databricks-To-Databricks OpenSharing kullanarak paylaşılan verileri okuma (alıcılar için) (alıcılar için).

Not defterlerini paylaşma

Databricks-Databricks paylaşım akışını kullanarak not defteri dosyalarını paylaşmak için OpenSharing'i kullanabilirsiniz. Bkz. Bir not defteri dosyasını paylaşım için ekleme (sağlayıcılar için) ve Paylaşılan not defterlerini okuma (alıcılar için).

Görünümleri paylaşırken satır ve sütun düzeyinde erişimi kısıtlama

Alıcı özelliklerine göre belirli tablo verilerine erişimi kısıtlayan dinamik görünümleri paylaşabilirsiniz. satır ve sütunları filtrelemek için bkz. Paylaşıma dinamik görünümler ekleme.

OpenSharing ve streaming

OpenSharing, Apache Spark Yapılandırılmış Akış'ı destekler. Sağlayıcı bir tabloyu geçmiş veya akış tablosuyla paylaşabilir, böylece alıcı bunu Yapılandırılmış Akış kaynağı olarak kullanabilir ve paylaşılan verileri düşük gecikme süresiyle artımlı olarak işler. Alıcılar ayrıca geçmişle paylaşılan tablolarda Delta Lake zaman yolculuğu sorguları gerçekleştirebilir.

Geçmişle tablo paylaşmayı öğrenmek için bkz. Paylaşıma tablo ekleme. Paylaşılan tabloları akış kaynakları olarak kullanmayı öğrenmek için bkz. Apache Spark Yapılandırılmış Akışı kullanarak tablo sorgulama (Databricks-Databricks paylaşımının alıcıları için) veya Spark Yapılandırılmış Akış kullanarak paylaşılan tabloya erişme (Databricks-Açık paylaşım verilerinin alıcıları için).

Akış tablolarını paylaşmayı öğrenmek için bkz. Paylaşıma akış tabloları ekleme.

Ayrıca bkz . Yapılandırılmış Akış kavramları.

Delta Lake özellik destek matrisi

OpenSharing, bir tabloyu paylaştığınızda Delta Lake özelliklerinin çoğunu destekler. Bu destek matrisi şu listeleri listeler:

• Databricks Runtime'ın belirli sürümlerini, açık kaynak OpenSharing Spark bağlayıcısını veya açık kaynak OpenSharing Python bağlayıcısını gerektiren Delta özellikleri.
• Kısmen desteklenen özellikler.

OpenSharing SSS

Aşağıda OpenSharing hakkında sık sorulan sorular yer alır.

OpenSharing'i kullanmak için Unity Kataloğu'na ihtiyacım var mı?

Hayır, paylaşılan verileri (alıcı olarak) paylaşmak (sağlayıcı olarak) veya kullanmak için Unity Kataloğu'na ihtiyacınız yoktur. Ancak Unity Kataloğu, tablosal olmayan ve yapay zeka varlık paylaşımı desteği, kullanıma hazır yönetim, basitlik ve sorgu performansı gibi avantajlar sağlar.

Sağlayıcılar verileri iki yolla paylaşabilir:

• Paylaşacağınız varlıkları Unity Kataloğu yönetimi altına yerleştirin ve yerleşik Azure Databricks OpenSharing sunucusunu kullanarak paylaşın.

  Tüm varlıkları Unity Kataloğu'na geçirmeniz gerekmez. Paylaşmak istediğiniz varlıkları yönetmek için Unity Kataloğu için etkinleştirilen yalnızca bir Azure Databricks çalışma alanınız olmalıdır. Bazı hesaplarda, Unity Kataloğu için yeni çalışma alanları otomatik olarak etkinleştirilir. Bkz. Unity Kataloğu'nu kullanmaya başlama.

• Azure Databricks hesabınızı kullanmak zorunda kalmadan verileri paylaşmak için Databricks-To-Open paylaşım sunucusunu uygulayın.

Alıcılar verileri iki şekilde kullanabilir:

• Databricks çalışma alanı olmadan. Power BI, pandas ve açık kaynak Apache Spark gibi birçok veri platformunda kullanılabilen açık kaynak OpenSharing bağlayıcılarını kullanın. Bkz. bearer belirteçleriyle paylaşılan verileri okuma ve OpenSharing açık kaynak projesi.

• Databricks çalışma alanında. Alıcı çalışma alanlarının Unity Kataloğu için etkinleştirilmesi gerekmez, ancak varsa idare, basitlik ve performans avantajları vardır.

  Bu avantajları isteyen alıcı kuruluşların tüm varlıkları Unity Kataloğu'na geçirmesi gerekmez. Sizinle paylaşılan varlıkları yönetmek için Unity Kataloğu için etkinleştirilen yalnızca bir Azure Databricks çalışma alanınız olmalıdır. Bazı hesaplarda, Unity Kataloğu için yeni çalışma alanları otomatik olarak etkinleştirilir. Bkz. Unity Kataloğu'nu kullanmaya başlama.

Bkz. Taşıyıcı belirteçleriyle paylaşılan verileri okuma ve Databricks-to-Databricks OpenSharing kullanılarak paylaşılan verileri okuma (alıcılar için).

OpenSharing'i kullanmak için Databricks müşterisi mi olmak istiyorum?

Hayır, OpenSharing açık bir protokoldür. Databricks olmayan verileri herhangi bir veri platformundaki alıcılarla paylaşabilirsiniz. Sağlayıcılar açık bir OpenSharing sunucusunu herhangi bir bilgi işlem platformundan paylaşmak üzere yapılandırabilir. Alıcılar Power BI, pandas ve açık kaynak Spark gibi birçok veri ürünü için OpenSharing bağlayıcılarını açık kaynak kullanarak paylaşılan verileri kullanabilir.

Ancak, Azure Databricks üzerinde OpenSharing kullanmanın, özellikle Unity Kataloğu'nun etkin olduğu bir çalışma alanından paylaşmanın birçok avantajı vardır.

Ayrıntılar için bu SSS'deki ilk soruya bakın.

OpenSharing maliyetlerini nasıl karşılayıp denetleyebilirim?

OpenSharing maliyeti, görünümlerin, somutlaştırılmış görünümlerin ve akış tablolarının paylaşılması ve bunlara erişilmesi sırasında oluşur. Paylaşım için olası maliyet kaynakları şunlardır:

• Azure Databricks tarafından ücretlendirilen işlem maliyeti.

• Depolama ve ağ aktarımı (çıkış) maliyeti, depolama sağlayıcısı tarafından veya sağlayıcı SecureConnect kullanıyorsa Azure Databricks tarafından ücretlendirilir.

• Yabancı şemaları ve tabloları paylaşırken yabancı işlem kaynağı maliyeti.

İşlemin hangi yöntemle gerçekleştirildiği ve bunun için kimin ödeme yaptığı çeşitli faktörlere bağlıdır:

• Alıcı hesaplama türü
• Paylaşım aynı Azure Databricks hesabı içinde mi yoksa hesaplar arasında mı gerçekleşir?

Aşağıdaki tabloda, OpenSharing kullanarak görünümleri paylaşmak ve görünümlere erişmek için faturalama yöntemi açıklanmaktadır:

* OpenSharing'i farklı bir hesapta Sunucusuz işlem kullanan bir alıcıyla veya aynı hesaptaki bir alıcıyla kullandığınızda artımlı ücret alınmaz. Bu, veri varlığının gerçekleştirilmesi için ek maliyet olmadığı anlamına gelir.

Yabancı tabloları (Beta) paylaşırken, materyalleştirme her zaman yapılır ve sağlayıcı tarafında depolanır. Yabancı Iceberg tablolarında, Iceberg istemcisi kullanmayan açık bir alıcıyla paylaşılırken, sağlayıcı tarafında veri hazırlanması yapılır. Sağlayıcılar, veri gerçekleştirme için kullanılan varsayılan depolamaya atfedilen ek bir ücret görebilir. Beta sırasında yabancı tablolar için işlem maliyeti yoktur.

Faturalandırma ilişkilendirmesi, Faturalandırılabilir kullanım sistem tablosu başvurusu ve OpenSharing gerçekleştirme geçmişi sistem tablosu başvurusu kullanılarak da sorgulanabilir. Alıcı ilişkilendirme için ödeme verirse, sistem tablosunda ilişkili kaydı yalnızca alıcı görebilir. Örneğin sorgular için bkz . Örnek sorgular.

OpenSharing çıkış maliyetlerine neden olur mu?

Bir bölge içinde OpenSharing hiçbir çıkış maliyetine neden olmaz. Diğer veri paylaşım platformlarından farklı olarak, OpenSharing veri çoğaltması gerektirmez. Bu modelin birçok avantajı vardır ancak bulut satıcınız bulutlar veya bölgeler arasında veri paylaştığınızda veri çıkışı ücretleri alabilir. Azure Databricks, çıkış ücreti ödemeyen Cloudflare R2'den paylaşımı destekler ve çıkış ücretlerini izlemek ve önlemek için başka araçlar ve öneriler sağlar. Bkz. OpenSharing çıkış maliyetlerini izleme ve yönetme (sağlayıcılar için).

Ancak sağlayıcı SecureConnect kullanıyorsa, veri aktarımı bulut satıcısı yerine Azure Databricks tarafından faturalandırılır.

Alıcıların paylaşılan görünümlerdeki, gerçekleştirilmiş görünümlerdeki ve akış tablolarındaki temel verilere doğrudan erişimi var mı?

Paylaşılan görünümler, gerçekleştirilmiş görünümler ve akış tabloları için, aşağıdakilerden biri doğruysa veri alıcısının doğrudan erişimi vardır:

• Alıcı, sunucusuz işlem veya ayrılmış olmayan klasik işlemleri aynı Azure Databricks hesabında kullanır.
• Alıcı farklı bir Azure Databricks hesabında sunucusuz işlem kullanır.

Aksi takdirde, veriler sağlayıcı tarafında somutlaştırılır ve filtrelenir.

SecureConnect etkinleştirildiğinde, bu varlıklar yukarıda listelenen senaryolarda dahi sağlayıcı tarafında her zaman oluşturulur ve filtrelenir.

Veri gerçekleştirme, paylaşılan veri varlığının üst depolama konumu altında depolanır.

Gerçekleştirilmiş varlıkları paylaşırken işlem, gerekli filtreleri uygulayarak ve sağlayıcının depolama alanında önbelleğe alınmış geçici gerçekleştirme oluşturarak isteği işler. Bu filtrelenmiş veriler, sağlayıcıdan alıcıya erişim denetimini korurken güvenli erişim sağlamak için önceden imzalanmış kısa süreli URL'ler kullanılarak alıcılara teslim edilir.

Sağlayıcılar alıcı erişimini iptal edebilir mi?

Evet, alıcı erişimi isteğe bağlı olarak ve belirtilen ayrıntı düzeyinde iptal edilebilir. Alıcının belirli paylaşımlara ve belirli IP adreslerine erişimini reddedebilir, alıcı için tablosal verileri filtreleyebilir, alıcı belirteçlerini iptal edebilir ve alıcıları tamamen silebilirsiniz. Bkz: bir paylaşıma alıcının erişimini iptal etme ve OpenSharing için veri alıcıları oluşturma (Databricks'ten Databricks'e paylaşım).

Önceden imzalanan URL'leri kullanmak güvenli değil mi?

OpenSharing, nesne depolamadaki bir dosyaya geçici erişim sağlamak için önceden imzalanan URL'leri kullanır. Bunlar yalnızca paylaşılan verilere zaten erişimi olan alıcılara verilir. Kısa ömürlü oldukları ve alıcıların zaten sahip oldukları erişim düzeyini aşmadıkları için güvenlidirler.

Databricks-Open paylaşım protokolünde kullanılan belirteçler güvenli mi?

OpenSharing diğer kullanılabilir veri paylaşım platformlarından farklı olarak platformlar arası paylaşımı etkinleştirdiğinden, paylaşım protokolü açık bir belirteç gerektirir. Sağlayıcılar belirteç ömrünü yapılandırarak, ağ denetimlerini ayarlayarak ve isteğe bağlı olarak erişimi iptal ederek belirteç güvenliğini sağlayabilir. Buna ek olarak, belirteç erişim düzeyini alıcılara zaten verilmiş olanın ötesine genişletmez. Bkz. Belirteçler için güvenlikle ilgili dikkat edilmesi gereken noktalar.

Alıcı paylaşımlarına erişimi yönetmek için belirteçleri kullanmamak istiyorsanız, Databricks'ten Databricks'e paylaşım kullanmalı veya alternatifler için Databricks hesap ekibinize başvurmalısınız.

Lakeflow Connect ile OpenSharing arasındaki fark nedir?

OpenSharing canlı verileri platformlar, bulutlar ve bölgeler arasında güvenli bir şekilde paylaşmanızı sağlar. Databricks, yüksek veri hacimlerine, düşük gecikme süreli sorgulamaya ve üçüncü taraf API sınırlarına uyacak şekilde ölçeklendirildiklerinden yönetilen bağlayıcıların kullanılmasını önerir. Ancak, verilerinizi taşımadan sorgulamak isteyebilirsiniz.

Yönetilen bağlayıcılar ile OpenSharing arasında seçim yaptığınızda, aşağıdaki senaryolar için OpenSharing'i seçin:

• Veri yinelemeyi sınırlama.
• Mümkün olan en yeni verileri sorgulama.

Sınırlama

Tablo biçimi ve özellik desteği

Biçim gereksinimleri:

• Tablosal veriler Delta veya yönetilen Iceberg tablo biçiminde olmalıdır. Parquet tablolarını kolayca Delta'ya dönüştürebilir ve tekrar geri dönebilirsiniz. Bkz. CONVERT TO DELTA.
• OpenSharing, UniForm tablolarını yalnızca Delta tabloları olarak okuyabilir.

Desteklenmeyen tablolar:

• Sağlayıcılar, bölüm filtreleme ile sıvı kümeleme kullanan tabloları paylaşamaz.
• Sağlayıcılar, R2 tablolarını V2 denetim noktasıyla paylaşamaz.
• Sağlayıcılar harmanlamaların etkinleştirildiği tabloları paylaşamaz.
• Sağlayıcılar satır filtreleri veya sütun maskeleriyle tablo paylaşamaz.
• Sağlayıcılar tabloları paylaşamaz SHALLOW CLONE . Azure Databricks, Delta günlüklerinin mutlak yollara referans verdiği durumlar için önceden imzalanmış URL'leri desteklemez.
• Sağlayıcılar , yönetilen Iceberg tablolarını dış Iceberg istemcileriyle paylaşamaz. Bkz. Bir paylaşıma yönetilen Iceberg tabloları ekleme ve Dış Iceberg istemcilerine paylaşımı etkinleştirme.
• Yabancı anahtar kısıtlamaları paylaşılan tablolarda kullanılamaz.

Databricks'ten Databricks'e yalnızca paylaşım

Aşağıdaki varlıklar yalnızca Databricks-To-Databricks paylaşım akışı kullanılarak paylaşılabilir:

• Notebook paylaşımı. Bkz. Paylaşıma not defteri dosyaları ekleme ve Databricks-to-Databricks OpenSharing (alıcılar için) kullanılarak paylaşılan verileri okuma.
• Hacim paylaşımı. Bkz. Paylaşıma birim ekleme (sağlayıcılar için) ve Databricks-To-Databricks OpenSharing (alıcılar için) kullanılarak paylaşılan verileri okuma.
• Model paylaşımı. Bkz. Paylaşıma model ekleme (sağlayıcılar için) ve Databricks-To-Databricks OpenSharing (alıcılar için) kullanılarak paylaşılan verileri okuma.

Views

• Paylaşılabilir görünümler Delta tablolarında veya diğer paylaşılabilir görünümlerde tanımlanmalıdır. Bkz. Paylaşıma görünüm ekleme (sağlayıcılar için) ve Paylaşılan görünümleri okuma (alıcılar için).

Streaming

• OpenSharing, bir akış kaynağı çalışırken veya akış yeniden başlatılırken responseFormat öğesinin değiştirilmesini desteklemez.

Alıcı meta verileri

• Paylaşılan katalogdaki information_schema tablolar Unity Kataloğu'nda depolanan meta verileri yansıtır. Bu meta veriler sağlayıcıdan yalnızca paylaşılan tabloyu doğrudan sorguladığınızda veya DESCRIBE veya REFRESH FOREIGNgibi bir komut çalıştırdığınızda güncelleştirilir. O zamana kadar sağlayıcının information_schema verileriyle karşılaştırıldığında eski görünebilir.

Kaynak ve teknik sınırlar

• Paylaşılan tablo için izin verilen meta verilerdeki dosya sayısıyla ilgili sınırlar vardır. Daha fazla bilgi edinmek için bkz. Kaynak sınırı aşıldığında oluşan hatalar.
• information_schema adlı şemalar Unity Kataloğu meta veri deposuna aktarılamaz çünkü bu şema adı Unity Kataloğu'nda ayrılmıştır.

Ayrıca bkz. Delta Lake özellik destek matrisi.

Art arda silmeler paylaşım korumasını atlar

Bir ana nesne, örneğin katalog veya şema, silindiğinde, bu alt nesneler etkin paylaşımlara dahil olsa bile tüm alt nesneler otomatik olarak silinir. Art arda silme işlemi bir varlığı kaldırdıktan sonra, paylaşıma aynı ada sahip bir varlığı yeniden ekleyemezsiniz.

Bu sorunu önlemek için, ebeveyn nesnelerini silmeden önce tüm paylaşımlardan varlıkları kaldırın.

Kaynak kotaları

Azure Databricks, tüm OpenSharing güvenliği sağlanabilir nesnelerine kaynak kotaları uygular. Bu kotalar Kaynak sınırları'nda listelenir. Bu kaynak sınırlarını aşmayı düşünüyorsanız Azure Databricks hesap ekibinize başvurun.

Unity Kataloğu kaynak kotaları API'lerini kullanarak kota kullanımınızı izleyebilirsiniz. Bkz Unity Kataloğu kaynak kotalarınızın kullanımını izleyin.

Ek kaynaklar

• OpenSharing için Databricks hesabınızı etkinleştirme
• Paylaşım oluşturma
• Alıcı oluşturma
• Databricks-To-Open paylaşımı ve Databricks-to-Databricks paylaşım modelleri hakkında daha fazla bilgi edinin
• Alıcıların paylaşılan verilere nasıl eriştiğini öğrenin