İşlem hatları için Python bağımlılıklarını yönetme

Lakeflow işlem hatları, işlem hatlarınızdaki dış bağımlılıkları destekler. Databricks, Python paketlerini yüklemek için iki desenden birinin kullanılmasını önerir:

  1. İşlem hattındaki tüm kaynak dosyalar için işlem hattı ortamına paket eklemek için Ortam ayarlarını kullanın.
  2. Çalışma alanı dosyalarında depolanan kaynak koddan modülleri veya kitaplıkları içeri aktarabilirsiniz. Bkz. Git klasörlerinden veya çalışma alanı dosyalarından Python modüllerini içeri aktarma.

Klasik işlem kullanan işlem hatları, küme kapsamlı başlatma betiklerini de destekler. sunucusuz Lakeflow işlem hatları başlatma betiklerini desteklemez. Her durumda Databricks, başta başlatma betikleri olmak üzere dış bağımlılıklar çalışma zamanı yükseltmeleriyle ilgili sorun riskini artırdığından başlatma betikleri yerine Ortam ayarlarının kullanılmasını önerir. İşlemeniz için başlatma betikleri gerekiyorsa, sorunları erken algılamak için işlem hattınızın testini otomatikleştirin ve Databricks test sıklığınızı artırmanızı önerir.

Önemli

JVM kitaplıkları işlem hatlarında desteklenmediğinden, JVM kitaplıklarını yüklemek için bir init betiği kullanmayın. Ancak, Python kitaplıkları gibi diğer kitaplık türlerini bir init betiğiyle yükleyebilirsiniz.

Python kütüphaneleri

Dış Python kitaplıklarını belirtmek için işlem hattınızın ortamını düzenleyin.

  1. İşlem hattı düzenleyicisinde Ayarlar'a tıklayın.
  2. İşlem hattı ortamı'nın altında Kalem simgesi'ne tıklayın.Ortamı düzenleyin.
  3. Artı simgesine tıklayın. Bağımlılık ekleyin.
  4. Bağımlılığın adını yazın. Databricks kitaplığın sürümünü sabitlemenizi önerir. Örneğin, 3.19 sürümüne bağımlılık eklemek için simplejson yazın simplejson==3.19.*.

Bir Unity Kataloğu biriminden, örneğin yolunu /Volumes/my_catalog/my_schema/my_ldp_volume/ldpfns-1.0-py3-none-any.whlbelirterek bir Python tekerlek paketi de yükleyebilirsiniz.

Note

İşlem hatları, Python işleminin dbutils.library.restartPython() ile manuel olarak yeniden başlatılmasını desteklemez. Tüm Python bağımlılıklarını çalışma zamanında yüklemek veya yeniden yüklemek yerine Ortam ayarları aracılığıyla bildirin. Ortam ayarlarının kullanılması, işlem hatlarının her çalıştırmada yeniden yüklemek yerine önbelleğe alınmış kitaplıkları çalıştırmalar arasında yeniden kullanmasına da olanak tanır.

Ortam sürümü

Varsayılan olarak, işlem hattınızda kullanılabilen Python dil sürümü ve önceden yüklenmiş kitaplık kümesi geçerli Databricks Runtime kanal sürümünden gelir. Güncel sürümler ve çalışma zamanı başına paket listeleri için Lakeflow işlem hatları sürüm notlarına ve sürüm yükseltme sürecine bkz.

Önemli

Bu özellik Beta sürümündedir. Çalışma alanı yöneticileri Bu özelliğe erişimi Önizlemeler sayfasından denetleyebilir. Bkz. Azure Databricks önizlemelerini yönetme.

Databricks Runtime yükseltmelerinden bağımsız olarak Python dil sürümünü ve önceden yüklenmiş kitaplık kümesini sabitlemek için işlem hattında bir ortam sürümü yapılandırın. Ortam sürümü ayarlanırken, Databricks Runtime yükseltmeleri Python dil sürümünüzü veya önceden yüklenmiş kitaplık sürümlerinizi değiştirmez ve Environment ayarları aracılığıyla eklediğiniz dış bağımlılıklar bu tabanın üzerine yerleştirilir. Bkz . İşlem hatları için ortam sürümlerini yapılandırma.

Scala ve Java kitaplığı desteği

Hayır, işlem hatları yalnızca SQL ve Python'ı destekler. İşlem hattında JVM kitaplıklarını kullanamazsınız. JVM kitaplıklarının yüklenmesi öngörülemez davranışlara neden olur ve Lakeflow Pipelines'ın gelecekteki sürümlerinde çalışmayabilir. İşlem hattınız bir init betiği kullanıyorsa, JVM kitaplıklarının betik tarafından yüklenmediğinden de emin olmanız gerekir.

  • Last updated on