Lakeflow Pipelines sürüm notları ve sürüm yükseltme süreci

Bu makalede Lakeflow işlem hatları yayın işlemi, çalışma zamanının nasıl yönetildiğini açıklar ve her sürüm için sürüm notlarına bağlantılar sağlanır.

Geçerli Databricks Runtime kanal sürümleri

Her kanal için geçerli Databricks Runtime sürümleri şunlardır:

Her çalışma zamanına yüklenen paketlerin (Python, R ve Java kitaplıkları) listesi için yukarıda bağlantılı ilgili Databricks Runtime sürüm notlarına bakın.

Lakeflow boru hatları sürüm notları

Sürüm notları aya göre düzenlenir. İşlem hatları sürümsüz olduğundan hem çalışma alanı hem de çalışma zamanı değişiklikleri otomatik olarak gerçekleşir. Aşağıdaki sürüm notları, her sürümdeki değişikliklere ve hata düzeltmelerine genel bir bakış sağlar:

Daha önce sürüm notları yıla ve yılın haftasına göre düzenlenmişti.

Eski sürüm notları

Lakeflow işlem hatları çalışma zamanı kanalları

İşlem hattı kümeleri, Databricks Runtime sürüm notlarındaki sürümler ve uyumluluğa dayalı çalışma zamanlarını kullanır. Azure Databricks, platforma yönelik iyileştirmeleri ve yükseltmeleri desteklemek için işlem hattı çalışma zamanlarını otomatik olarak yükselter. İşlem hattınızı çalıştıran çalışma zamanı sürümünü denetlemek için işlem hattı ayarlarındaki alanını kullanabilirsiniz channel . Desteklenen değerler şunlardır:

  • current, geçerli çalışma zamanı sürümünü kullanmak için.
  • çalışma zamanı sürümünde yapılacak değişikliklerle işlem hattınızı test etmek için preview.

İşlem hatlarınız varsayılan olarak current çalışma zamanı sürümünü kullanarak çalışır. Databricks, üretim iş yükleri için current çalışma zamanının kullanılmasını önerir. İşlem hatlarınızı sonraki çalışma zamanı sürümüyle test etmek için preview ayarını kullanmayı öğrenmek için bkz. sonraki çalışma zamanı sürümüyle işlem hatlarınızın testini otomatikleştirme.

Important

Genel kullanıma açık veya Genel Önizleme olarak işaretlenmiş özellikler current kanalında kullanılabilir.

İşlem hattı kanalları hakkında daha fazla bilgi için, işlem hattı ayarları bölümündeki channel alanına bakın.

Yükseltmelerin her sürüm için nasıl yönetildiğini anlamak için bkz. Lakeflow işlem hattı yükseltmeleri nasıl çalışır?.

İşlem hattı güncelleştirmesi için Databricks Runtime sürümünü nasıl bulabilirim?

Belirli bir işlem hattı güncelleştirmesi için Databricks Runtime sürümünü bulmak için işlem hattı olay günlüğünü sorgulayabilirsiniz. Bkz. Çalışma zamanı bilgileri.

Lakeflow işlem hattı yükseltmeleri nasıl çalışır?

Lakeflow işlem hatları sürümsüzdür, yani Azure Databricks geliştirmeleri ve platform yükseltmelerini desteklemek için çalışma zamanını otomatik olarak yükselter. Databricks, harici bağımlılıkların sınırlandırılmasını önerir.

Databricks, otomatik yükseltmelerin üretim işlem hatlarına hata veya sorun eklemesini önlemek için proaktif olarak çalışır. Bkz. Lakeflow işlem hatları yükseltme süreci.

Özellikle dış bağımlılıkları bulunan işlem hatlarını dağıtan kullanıcılar için Databricks, işlem hatlarını preview kanallarıyla proaktif olarak test etmeyi önerir. Sonraki çalışma zamanı sürümüyle işlem hatlarınızın testini otomatikleştirme bölümüne bakın.

Lakeflow işlem hatlarını yükseltme işlemi

Azure Databricks işlem hattı işlem kaynakları tarafından kullanılan Databricks Runtime'ı yönetir. Azure Databricks çalışma alanlarınızdaki çalışma zamanını otomatik olarak yükselter ve yükseltmeden sonra işlem hatlarınızın durumunu izler.

Azure Databricks bir işlem hattının yükseltme nedeniyle başlatılamadığını algılarsa, işlem hattının çalışma zamanı sürümü kararlı olduğu bilinen önceki sürüme geri döner ve aşağıdaki adımlar otomatik olarak tetiklenir:

  • İşlem hattının çalışma zamanı, önceden sorunsuz olduğu bilinen önceki sürüme sabitlenmiştir.
  • Databricks desteğine sorun bildirilir.
    • Sorun çalışma zamanındaki bir regresyonla ilgiliyse Databricks sorunu çözer.
    • Sorunun nedeni işlem hattı tarafından kullanılan özel bir kitaplık veya paketse, Databricks sorunu çözmek için sizinle iletişim kurar.
  • Sorun çözüldüğünde Azure Databricks yükseltmeyi yeniden başlatır.

Important

Azure Databricks yalnızca kanalı current olarak ayarlanmış üretim modunda çalışan işlem hatlarını geri alır.

Sonraki çalışma zamanı sürümüyle işlem hatlarınızın testini otomatikleştirme

Sonraki çalışma zamanı sürümündeki değişikliklerin işlem hatlarınızı etkilemediğinden emin olmak için işlem hattı kanalları özelliğini kullanın:

  1. Hazırlık hattı oluşturun ve kanalı previewolarak belirleyin.
  2. İşlem hattı kullanıcı arabiriminde, işlem hattını haftalık olarak çalıştırmak ve uyarıların işlem hattı hataları için e-posta bildirimi almasına olanak tanımak için bir zamanlama oluşturun. Databricks, özellikle özel hattı bağımlılıkları kullanıyorsanız, işlem hatlarının haftalık test çalıştırmalarını planlamanızı önerir.
  3. Bir hata bildirimi alırsanız ve bunu çözemiyorsanız Databricks ile bir destek bileti açın.

Note

Önizleme kanalı hatalarını çözerken işlem hattınızı değiştirirseniz, bu değişiklikleri current kanalına karşı current üzerinde çalışan üretime dağıtmadan önce doğrulayın. preview üzerinde çalışan bir değişiklik, current üzerinde farklı davranabilir.

İşlem Hattı bağımlılıkları

İşlem hatları dış bağımlılıkları destekler; örneğin, komutunu kullanarak %pip install herhangi bir Python paketini yükleyebilirsiniz. Ayrıca genel ve küme kapsamlı başlatma betiklerinin kullanılmasını da destekler. Ancak bu dış bağımlılıklar, özellikle başlatma betikleri, çalışma zamanı yükseltmeleriyle ilgili sorun riskini artırır. Bu riskleri azaltmak için işlem hatlarınızda başlatma betiklerini kullanmayı en aza indirin. İşlemeniz için başlatma betikleri gerekiyorsa, sorunları erken algılamak için işlem hattınızın testini otomatikleştirin; Bkz. sonraki çalışma zamanı sürümüyle işlem hatlarınızın testini otomatikleştirme. Init betikleri kullanıyorsanız Databricks test sıklığınızı artırmanızı önerir.

  • Last updated on