Progettare e implementare la modellazione dei dati con Azure Databricks
Intermedio
Data engineer
Azure Databricks
Una modellazione efficace dei dati costituisce la base di una piattaforma dati efficiente e gestibile. Questo modulo illustra come progettare la logica di inserimento, selezionare gli strumenti e i formati di tabella appropriati, implementare schemi di partizionamento, gestire dimensioni a modifica lenta, scegliere la granularità dei dati appropriata e ottimizzare le prestazioni delle tabelle tramite strategie di clustering in Azure Databricks con Unity Catalog.
Obiettivi di apprendimento
Alla fine di questo modulo, sarai in grado di:
- Progettare la logica di inserimento dati e configurare le connessioni all'origine dati
- Selezionare lo strumento di inserimento dati appropriato per lo scenario
- Scegliere tra Delta Lake, Apache Iceberg e altri formati di tabella
- Progettare e implementare schemi di partizionamento dei dati efficaci
- Selezionare e implementare tipi di dimensione a modifica lenta
- Progettare e implementare tabelle temporali per il rilevamento delle modifiche e il controllo
- Scegliere la granularità dei dati appropriata per le tabelle dei fatti e delle dimensioni
- Progettare e implementare strategie di clustering per l'ottimizzazione delle query
- Valutare quando usare tabelle gestite e tabelle esterne
Prerequisiti
È necessario completare i prerequisiti seguenti:
- Conoscenza di base delle aree di lavoro di Azure Databricks e del catalogo Unity
- Familiarità con i concetti relativi a SQL e data warehouse
- Conoscenza dei concetti fondamentali di Delta Lake