Entwerfen und Implementieren von Datenpipelines mit Azure Databricks
Fortgeschrittene Anfänger
Technische Fachkraft für Daten
Azure Databricks
Erfahren Sie, wie Sie robuste Datenpipelines in Azure Databricks mithilfe von Notizbüchern und Lakeflow Spark Declarative Pipelines entwerfen und implementieren, die die Orchestrierung, Fehlerbehandlung und Aufgabenlogik abdecken.
Lernziele
Am Ende dieses Moduls können Sie:
- Entwerfen Sie die Reihenfolge der Vorgänge für Datenpipelines von der Aufnahme bis zur Bereitstellung.
- Wählen Sie basierend auf Anwendungsfällen zwischen Notizbüchern und Lakeflow Spark Declarative Pipelines aus.
- Entwerfen Sie Aufgabenlogik, Abhängigkeiten und Ausführungsmuster für Lakeflow-Aufträge.
- Implementieren Sie Strategien zur Fehlerbehandlung, einschließlich Wiederholungsrichtlinien und Erwartungen.
- Erstellen Sie Datenpipelinen mit Notizbüchern und Lakeflow Spark Declarative Pipelines.
Voraussetzungen
Die folgenden Voraussetzungen sollten erfüllt werden:
- Grundlegendes Verständnis von Azure Databricks-Arbeitsbereichen
- Vertrautheit mit den Grundlagen und Governance-Konzepten des Unity Katalogs
- Kenntnisse der Grundsätze der SQL- und Datenorganisation