스트리밍 테이블 및 구체화된 뷰를 정의하는 쿼리를 사용하여 Lakeflow 파이프라인에서 데이터 로드 및 변환을 구현합니다. Lakeflow 파이프라인은 SQL 및 Python 인터페이스를 모두 지원합니다. 대부분의 데이터 처리 사용 사례에 해당하는 기능을 제공하므로 가장 익숙한 인터페이스를 선택할 수 있습니다. 결정에 도움이 필요하면 SQL과 Python 중에서 선택하기를 참조하세요.
Python 개발
Python 코드를 사용하여 파이프라인을 만듭니다.
| 주제 | Description |
|---|---|
| Python 파이프라인 개발에 대한 개요입니다. | |
| Lakeflow 파이프라인 Python 언어 참조 | Python의 pipelines 모듈 참조 설명서. |
| 파이프라인의 Python 종속성 관리 | 파이프라인에서 Python 라이브러리를 관리하기 위한 지침입니다. |
| Git 폴더 또는 작업 공간 파일에서 Python 모듈 가져오기 | Azure Databricks 저장한 Python 모듈을 사용하기 위한 지침입니다. |
SQL 개발
SQL 코드를 사용하여 파이프라인을 만듭니다.
| 주제 | Description |
|---|---|
| SQL을 사용하여 Lakeflow 파이프라인 코드 개발 | SQL에서 파이프라인 개발에 대한 개요입니다. |
| 파이프라인 SQL 언어 참조 | Lakeflow 파이프라인에 대한 SQL 구문에 대한 참조 설명서입니다. |
| 독립 실행형 파이프라인 | Databricks SQL을 사용하여 파이프라인 작업을 수행합니다. |
기타 개발 항목
다음 항목에서는 파이프라인을 개발하는 다른 방법을 설명합니다.
| 주제 | Description |
|---|---|
| 파이프라인을 번들 프로젝트로 변환 | 기존 파이프라인을 번들로 변환하면 원본 제어 YAML 파일에서 데이터 처리 구성을 관리하여 대상 환경에 대한 보다 쉬운 유지 관리 및 자동화된 배포를 수행할 수 있습니다. |
| Lakeflow 파이프라인을 사용한 메타프로그래밍 |
dlt-meta를 사용하여 파이프라인을 만듭니다. 오픈 소스 dlt-meta 라이브러리를 사용하여 메타데이터 기반 프레임워크를 사용하여 파이프라인 만들기를 자동화합니다.자습서: 다른 매개 변수를 사용하여 여러 흐름을 만듭니다. Python 루프에 여러 흐름을 만듭니다. |
| 로컬 개발 환경에서 파이프라인 코드 개발 | 파이프라인을 로컬로 개발하기 위한 옵션의 개요입니다. |