Design og implementér datapipelines med Azure Databricks
Øvet
Datatekniker
Azure Databricks
Lær at designe og implementere robuste datapipelines i Azure Databricks ved hjælp af notebooks og Lakeflow Spark Declarative Pipelines, hvor du dækker orkestrering, fejlhåndtering og opgavelogik.
Læringsmål
Når du har fuldført dette modul, kan du:
- Design rækkefølgen af operationer for datapipelines fra indlæsning til servering.
- Vælg mellem notebooks og Lakeflow Spark Declarative Pipelines baseret på brugstilfælde.
- Design opgavelogik, afhængigheder og eksekveringsmønstre for Lakeflow-jobs.
- Implementér fejlhåndteringsstrategier, herunder genprøvningspolitikker og forventninger.
- Opret datapipelines ved hjælp af både notebooks og Lakeflow Spark Deklarative Pipelines.
Forudsætninger
Følgende forudsætninger skal opfyldes:
- Grundlæggende forståelse af Azure Databricks workspaces
- Fortrolighed med Unity Catalogs grundlæggende principper og styringskoncepter
- Kendskab til SQL og principper for dataorganisering