Pipeline geliştirici referansı

Akış tablolarını ve gerçekleştirilmiş görünümleri tanımlayan sorgularla Lakeflow işlem hatlarında veri yükleme ve dönüştürme işlemleri gerçekleştirin. Lakeflow işlem hatları hem SQL hem de Python arabirimlerini destekler. Çoğu veri işleme kullanım örneği için eşdeğer işlevler sağladığından, en rahat kullanabileceğiniz arabirimi seçebilirsiniz. Karar verme konusunda yardım için bkz. SQL ile Python arasında seçim yapma.

Python geliştirme

Python kodu kullanarak işlem hatları oluşturun.

Konu Description
Python Python'da işlem hattı geliştirmeye genel bakış.
Lakeflow işlem hatları Python dil referansı Python pipelines modülü için referans belgeleri.
İşlem hatları için Python bağımlılıklarını yönet İşlem hatlarında Python kitaplıklarını yönetme yönergeleri.
Git klasörlerinden veya çalışma alanı dosyalarından Python modüllerini içeri aktar Azure Databricks depoladığınız Python modüllerini kullanma yönergeleri.

SQL geliştirme

SQL kodunu kullanarak işlem hatları oluşturun.

Konu Description
SQL ile Lakeflow işlem hattı kodu geliştirme SQL'de işlem hattı geliştirmeye genel bakış.
Pipeline SQL dili referansı Lakeflow işlem hatları için SQL söz dizimi referans belgeleri.
Bağımsız işlem hatları İşlem hatlarıyla çalışmak için Databricks SQL kullanın.

Diğer geliştirme konuları

Aşağıdaki konular, işlem hatları geliştirmenin diğer yollarını açıklar.

Konu Description
İşlem hattını paket projesine dönüştürme Hedef ortamlara daha kolay bakım ve otomatik dağıtımlar için kaynak denetimli bir YAML dosyasında veri işleme yapılandırmanızı yönetmenizi sağlayan mevcut işlem hattını bir pakete dönüştürün.
Lakeflow işlem hatları ile meta programlama dlt-meta ile işlem hatları oluşturun. meta veri temelli bir çerçeveyle işlem hattı oluşturmayı otomatikleştirmek için açık kaynak dlt-meta kitaplığını kullanın.
Eğitim: Farklı parametrelerle birden çok akış oluşturun. Python'da bir döngü içinde birden çok kontrol akışı oluşturun.
Yerel geliştirme ortamınızda işlem hattı kodu geliştirme İşlem hatlarını yerel olarak geliştirmeye yönelik seçeneklere genel bakış.
  • Last updated on