Lakeflow 管道 Python 语言参考

Lakeflow 管道的 Python 接口定义在 pyspark.pipelines 模块中，并作为 dp 导入。

• 有关使用 Python 进行管道的概念信息和概述，请参阅 使用 Python 开发管道代码。
• 有关 SQL 参考，请参阅 管道 SQL 语言参考。
• 有关特定于配置自动加载程序的详细信息，请参阅什么是自动加载程序？

pipelines 模块概述

Lakeflow 管道 Python 函数是在 pyspark.pipelines 模块中定义的（作为 dp 导入）。 使用 Python API 实现的管道必须导入此模块：

from pyspark import pipelines as dp

Apache Spark™ 管道

Apache Spark 包括从 Spark 4.1 开始的 声明性管道 ，可通过模块 pyspark.pipelines 使用。 Databricks Runtime 使用其他 API 和集成扩展这些开源功能，以供托管生产使用。

使用开源 pipelines 模块编写的代码在 Azure Databricks 上运行，无需修改。 以下功能不属于 Apache Spark：

• dp.create_auto_cdc_flow
• dp.create_auto_cdc_from_snapshot_flow
• @dp.expect(...)

该 pipelines 模块以前在 Azure Databricks 中称为 dlt。 如需详细信息以及更多关于与 Apache Spark 的差异的信息，请参阅 发生了什么 @dlt？。

用于定义数据集的函数

管道使用 Python 修饰器来定义具体化视图和流式处理表等数据集。 请参阅 Functions 来定义数据集。

API 参考

• append_flow
• create_auto_cdc_flow
• create_auto_cdc_from_snapshot_flow
• create_sink
• create_streaming_table
• 期望值
• foreach_batch_sink
• materialized_view
• 桌子
• temporary_view
• update_flow

Python 管道的编码要求

使用 Lakeflow 管道Python接口实现管道时，需要满足以下重要要求：

• Lakeflow 管道会在规划阶段和管道运行期间多次评估定义管道的代码。 定义数据集的 Python 函数应仅包含定义表或视图所需的代码。 数据集定义中包含的任意 Python 逻辑可能会导致意外行为。
• 不要尝试在数据集定义中实现自定义监视逻辑。 请参阅使用事件挂钩定义管道的自定义监视。
• 用于定义数据集的函数必须返回 Spark 数据帧。 不要在数据集定义中包含与返回的数据帧无关的逻辑。
• 切勿使用将文件或表保存或写入到管道数据集代码中的方法。

绝不能在管道代码中使用的 Apache Spark 操作示例：

• collect()
• count()
• toPandas()
• save()
• saveAsTable()
• start()
• toTable()

发生了什么事 @dlt？

以前，Azure Databricks 使用 dlt 模块来支持管道功能。 模块 dlt 已替换为该 pyspark.pipelines 模块。 你仍然可以使用 dlt，但 Databricks 建议使用 pipelines。

DLT、Lakeflow 管道和 Apache Spark 声明式管道之间的差异

下表显示了 DLT、Lakeflow 管道和 Apache Spark 声明性管道之间的语法和功能差异。

有关 Lakeflow 管道与 Apache Spark 声明性管道的共同点及其新增功能的功能级比较，请参阅 Apache Spark Declarative Pipelines。

要了解管道配置到 SDP 项目规范的逐项属性映射，请参阅 管道属性参考。