Databricks ile veri mühendisliği

Databricks, veri mühendisleri, yazılım geliştiricileri, SQL geliştiricileri, analistleri ve veri bilimcilerini aşağı akış analizi, yapay zeka ve operasyonel uygulamalar için yüksek kaliteli veriler sunma yönünde güçlendiren uçtan uca bir veri mühendisliği çözümü olan Lakeflow'u sağlar. Lakeflow, verilerinizin alımı, dönüşümü ve düzenlemesi için birleşik bir çözümdür ve Lakeflow Connect, Lakeflow işlem hatları, Lakeflow Designer ve Lakeflow İşleri içerir.

Lakeflow Connect

Lakeflow Connect, popüler kurumsal uygulamalara, veritabanlarına, bulut depolamaya, ileti veri yollarına ve yerel dosyalara yönelik bağlayıcılarla veri alımını basitleştirir. Bkz. Lakeflow Connect.

Özellik Açıklama
Yönetilen bağlayıcılar Yönetilen bağlayıcılar, temel alınan işlem hattı API'lerini ve altyapısını kullanmanıza gerek kalmadan en düşük işlem yüküne sahip basit bir kullanıcı arabirimi ve yapılandırma tabanlı bir alma hizmeti sağlar.
Standart bağlayıcılar Standart bağlayıcılar, işlem hatlarınızın veya diğer sorguların içinden daha geniş bir veri kaynağı aralığındaki verilere erişme olanağı sağlar.

Lakeflow işlem hatları

Lakeflow işlem hatları, verimli toplu işlem ve akış veri işlem hatlarını oluşturma ve yönetme karmaşıklığını azaltır. SQL ve Python toplu işlem hatları ve akış işlem hatları için bildirim temelli çerçeve olan Apache Spark™ Bildirimli İşlem Hatları (SDP) üzerinde oluşturulan Lakeflow işlem hatları, performans açısından iyileştirilmiş Databricks Runtime üzerinde çalışır ve onunla birlikte çalışabilir durumda kalır. İşlem hattı akışların, havuzların, akış tablolarının ve gerçekleştirilmiş görünümlerin yürütülmesini otomatik olarak düzenler. Bkz. Lakeflow Pipelines.

Özellik Açıklama
Akışlar Akışlar, işlem hatlarındaki verileri işler. Akışlar API'si Apache Spark ve Yapılandırılmış Akış ile aynı DataFrame API'sini kullanır. Akış, akış semantiği kullanarak Kafka konu başlığı gibi akış tablolarına ve alıcılarına yazabilir veya toplu semantiği kullanarak oluşturulmuş bir görünüme yazabilir.
Akış Tabloları Akış tablosu, akış veya adımlı veri işleme desteğine sahip bir Delta tablosudur. İşlem hatlarındaki bir veya daha fazla akış için hedef görevi görür.
Gerçekleştirilmiş görünümler Gerçekleştirilmiş görünüm, daha hızlı erişim için önbelleğe alınmış sonuçları içeren bir görünümdür. Gerçekleştirilmiş görünüm (materialized view), işlem hatları için bir hedef olarak işlev görür.
Lavabolar İşlem hatları, dış veri havuzlarını hedef olarak destekler. Bu havuzlar Apache Kafka veya Azure Event Hubs gibi olay akış hizmetlerini, Unity Kataloğu tarafından yönetilen dış tabloları veya Python'da tanımlanan özel havuzları içerebilir.

Lakeflow Tasarımcısı

Lakeflow Designer, Azure Databricks görsel bir veri hazırlama aracıdır. Sürükleyip bırakma tuvalini veya doğal dil istemlerini kullanarak dönüştürme iş akışlarını derleyin ve keşfedin. Tüm tasarımcı iş akışları Unity Kataloğu tarafından yönetilen üretime hazır kod tarafından desteklenir. Bkz. Lakeflow Designer.

Özellik Açıklama
Görsel veri hazırlığı Sürükle ve bırak tuvali kullanarak veri dönüştürme iş akışları oluşturun.
Veri içe aktarma Azure Databricks aracılığıyla erişilebilen tüm verileri Lakeflow Designer'da görsel veri hazırlığı haline getirin.
Yerleşik işleçler Verileri filtrelemek, birleştirmek, birleştirmek ve yeniden şekillendirmek için yerleşik işleçleri kullanın.
Doğal dil kullanan güncelleştirmeler Genie Code'da doğal dil istemlerini kullanarak dönüştürmeler oluşturun veya güncelleştirin.

Lakeflow İşleri

Lakeflow Jobs, her türlü veri ve yapay zeka iş yükü için güvenilir orkestrasyon ve üretim izleme sağlar. İş, not defterleri, işlem hatları, yönetilen bağlayıcılar, SQL sorguları, makine öğrenmesi eğitimi ve model dağıtımı ile çıkarımını çalıştıran bir veya daha fazla görevden oluşabilir. İşler ayrıca if/else ifadeleriyle dallanma ve for each döngüleri ile döngü yapma gibi özel denetim akışı mantığını destekler. Bakınız Lakeflow İşleri.

Özellik Açıklama
İşler İşler, orkestrasyon için birincil kaynaktır. Bunlar, zamanlanmış olarak gerçekleştirmek istediğiniz bir işlemi temsil ederler.
Görevler bir iş içindeki belirli bir çalışma birimi. Bir iş içinde gerçekleştirilebilecek çeşitli seçenekler sağlayan çeşitli görev türleri vardır.
İşlerde denetim akışı Denetim akışı görevleri, diğer görevlerin mi yoksa çalıştırılacak görevlerin sırasının mı çalıştırılıp çalıştırılmayacağını denetlemenize olanak tanır.

Apache Spark için Databricks Runtime

Databricks Runtime, toplu iş ve akış gibi Spark iş yüklerini çalıştırmak için güvenilir ve performans açısından iyileştirilmiş bir işlem ortamıdır. Databricks Runtime, yüksek performanslı bir Databricks yerel vektörleştirilmiş sorgu altyapısı olan Foton ve otomatik ölçeklendirme gibi çeşitli altyapı iyileştirmeleri sağlar. Spark programlarınızı not defterleri, JAR'ler veya Python tekerlekleri olarak oluşturarak Spark ve Yapılandırılmış Akış iş yüklerinizi Databricks Runtime'da çalıştırabilirsiniz. Bkz. Apache Spark için Databricks Runtime.

Özellik Açıklama
Databricks üzerinde Apache Spark Spark, Databricks Veri Zekası Platformu'nun merkezinde yer alır.
Yapılandırılmış Akış Yapılandırılmış Akış, akış verileri için Spark'a yakın gerçek zamanlı işleme altyapısıdır.

Delta Live Tables'a (DLT) ne oldu?

Delta Live Tables (DLT) hakkında bilginiz varsa bkz. Delta Live Tables (DLT) ne oldu?.

Ek kaynaklar

  • Veri mühendisliği kavramları , Azure Databricks'teki veri mühendisliği kavramlarını açıklar.
  • Delta Lake, Azure Databricks'teki bir göl evinde yer alan tabloların temelini sağlayan iyileştirilmiş bir depolama katmanıdır.
  • Veri mühendisliği en iyi yöntemleri , Azure Databricks'te veri mühendisliğine yönelik en iyi yöntemler hakkında bilgi sağlar.
  • Databricks not defterleri işbirliği ve geliştirme için popüler bir araçtır.
  • Databricks SQL , Azure Databricks'te SQL sorgularının ve BI araçlarının kullanılmasını açıklar.
  • Azure Databricks üzerinde Makine öğrenmesi, makine öğrenmesi çözümlerinin mimarisini açıklar.
  • Last updated on