Entwerfen und Implementieren der Datenmodellierung mit Azure Databricks
Fortgeschrittene Anfänger
Technische Fachkraft für Daten
Azure Databricks
Effektive Datenmodellierung bildet die Grundlage einer leistungsfähigen und verwalteten Datenplattform. In diesem Modul wird erläutert, wie Sie Logik für die Erfassung entwerfen, geeignete Tools und Tabellenformate auswählen, Partitionsschemas implementieren, langsam ändernde Dimensionen verwalten, geeignete Daten granularität auswählen und die Tabellenleistung durch Clusteringstrategien in Azure Databricks mit Unity Catalog optimieren.
Lernziele
Am Ende dieses Moduls können Sie:
- Entwerfen der Datenaufnahmelogik und Konfigurieren von Datenquellenverbindungen
- Wählen Sie das entsprechende Datenaufnahmetool für Ihr Szenario aus.
- Wählen Sie zwischen Delta Lake, Apache Iceberg und anderen Tabellenformaten
- Entwerfen und Implementieren effektiver Datenpartitionierungsschemas
- Auswählen und Implementieren von langsam wechselnden Dimensionstypen
- Entwerfen und Implementieren von zeitlichen Tabellen für die Änderungsnachverfolgung und -überwachung
- Auswählen der geeigneten Datengranularität für Fakten- und Dimensionstabellen
- Entwerfen und Implementieren von Clusteringstrategien für die Abfrageoptimierung
- Bewerten, wann verwaltete und externe Tabellen verwendet werden sollen
Voraussetzungen
Die folgenden Voraussetzungen sollten erfüllt werden:
- Grundlegendes Verständnis von Azure Databricks-Arbeitsbereichen und Unity-Katalog
- Vertrautheit mit SQL- und Data Warehouse-Konzepten
- Kenntnisse der Grundlagen des Delta Lake