Lakeflow işlem hatları için Python dil başvurusu

Lakeflow pipeline’larının Python arabirimi, pyspark.pipelines modülünde tanımlanır ve dp olarak içe aktarılır.

• Kavramsal bilgiler ve işlem hatları için Python kullanımına genel bakış için bkz. Python ile işlem hattı kodu geliştirme.
• SQL başvurusu için İşlem hattı SQL dil başvurusu bölümüne bakın.
• Otomatik Yükleyici'yi yapılandırmaya özgü ayrıntılar için bkz. Otomatik Yükleyici nedir?.

pipelines modüle genel bakış

Lakeflow işlem hattı Python fonksiyonları, pyspark.pipelines modülünde tanımlanır (dp olarak içe aktarılır). Python API'si ile uygulanan işlem hatlarınızın şu modülü içeri aktarması gerekir:

from pyspark import pipelines as dp

Apache Spark™ işlem hatları

Apache Spark, modül aracılığıyla kullanılabilen Spark 4.1'de başlayan bildirim temelli işlem hatlarınıpyspark.pipelines içerir. Databricks Runtime, bu açık kaynak özelliklerini yönetilen üretim kullanımı için ek API'ler ve tümleştirmelerle genişletir.

Açık kaynak pipelines modülüyle yazılan kod, Azure Databricks'te değişiklik yapılmadan çalıştırılır. Aşağıdaki özellikler Apache Spark'ın bir parçası değildir:

• dp.create_auto_cdc_flow
• dp.create_auto_cdc_from_snapshot_flow
• @dp.expect(...)

Bu pipelines modülü daha önce Azure Databricks'te dlt olarak adlandırılıyordu. tr-TR: Detaylar ve Apache Spark ile olan farklar hakkında daha fazla bilgi için Ne oldu? @dlt bölümüne bakın.

Veri kümesi tanımları için işlevler

İşlem boru hatları, materyalize edilmiş görünümler ve akış tabloları gibi veri kümelerini tanımlamak için Python dekoratörlerini kullanır. Bkz. Veri kümelerini tanımlamak için işlevler.

API referansı

• append_flow
• create_auto_cdc_flow
• create_auto_cdc_from_snapshot_flow
• create_sink
• create_streaming_table
• Beklentiler
• foreach_batch_sink
• materialized_view (maddileştirilmiş görünüm)
• table
• temporary_view
• update_flow

Python işlem hatları için kodlama gereksinimleri

Lakeflow işlem hatları Python arabirimiyle işlem hatlarını uygularken aşağıdaki önemli gereksinimler şunlardır:

• Lakeflow işlem hatları, planlama ve işlem hattı çalıştırmaları sırasında bir işlem hattını birden çok kez tanımlayan kodu değerlendirir. Veri kümelerini tanımlayan Python işlevleri yalnızca tabloyu veya görünümü tanımlamak için gereken kodu içermelidir. Veri kümesi tanımlarına eklenen rastgele Python mantığı beklenmeyen davranışlara yol açabilir.
• Veri kümesi tanımlarınızda özel izleme mantığı uygulamayı denemeyin. Bkz. Olay kancalarıyla işlem hatlarının özel izlemesini tanımlama.
• Veri kümesini tanımlamak için kullanılan işlevin Spark DataFrame döndürmesi gerekir. Veri kümesi tanımlarınıza döndürülen Bir DataFrame ile ilgili olmayan mantık eklemeyin.
• İşlem hattı veri kümesi kodunuzun bir parçası olarak dosyaları veya tabloları kaydeden veya bu tablolara yazan yöntemleri asla kullanmayın.

İşlem hattı kodunda hiçbir zaman kullanılmaması gereken Apache Spark işlemleri örnekleri:

• collect()
• count()
• toPandas()
• save()
• saveAsTable()
• start()
• toTable()

Ne oldu?@dlt

Daha önce Azure Databricks, işlem hattı işlevselliğini desteklemek için modülünü dlt kullanıyordu. Modülün dlt yerini modül almıştır pyspark.pipelines . kullanmaya devam dltedebilirsiniz, ancak Databricks kullanılmasını pipelinesönerir.

DLT, Lakeflow işlem hatları ve Apache Spark Bildirimli İşlem Hatları arasındaki farklar

Aşağıdaki tabloda DLT, Lakeflow işlem hatları ve Apache Spark Bildirimli İşlem Hatları arasındaki söz dizimi ve işlevsellik farklılıkları gösterilmektedir.

Lakeflow işlem hatlarının Apache Spark Bildirimli İşlem Hatları ile ortak yönlerinin ve buna ek olarak sunduklarının özellik düzeyindeki karşılaştırması için bkz. Apache Spark Bildirimli İşlem Hatları.

İşlem hattı yapılandırmasının SDP proje spesifikasyonuyla özellik bazında eşleştirilmesi için bkz: İşlem hattı özellikleri başvurusu.