Proiectează și implementează modelarea datelor cu Azure Databricks
Intermediar
Data Engineer
Azure Databricks
Modelarea eficientă a datelor stă la baza unei platforme de date performante și ușor de întreținut. Acest modul explorează modul de a proiecta logica de ingestie, de a selecta uneltele și formatele de tabel potrivite, de a implementa scheme de partiționare, de a gestiona dimensiunile care se schimbă lent, de a alege granularitatea adecvată a datelor și de a optimiza performanța tabelelor prin strategii de clusterizare în Azure Databricks cu Unity Catalog.
Obiective de instruire
Până la sfârșitul acestui modul, veți putea să:
- Proiectează logica de ingestie a datelor și configurează conexiunile surselor de date
- Selectează instrumentul potrivit pentru ingestia datelor pentru situația ta
- Alege între formate de tabel Delta Lake, Apache Iceberg și alte formate de tabel
- Proiectați și implementați scheme eficiente de partiționare a datelor
- Selectați și implementați tipuri de dimensiuni care se schimbă lent
- Proiectează și implementează tabele temporale pentru urmărirea modificărilor și auditare
- Alege granularitatea adecvată a datelor pentru tabelele de fapte și dimensiuni
- Proiectați și implementați strategii de clusterizare pentru optimizarea interogărilor
- Evaluează când să folosești tabelele administrate versus cele externe
Cerințe preliminare
Următoarele condiții prealabile trebuie îndeplinite:
- Înțelegere de bază a spațiilor de lucru Azure Databricks și a Catalogului Unity
- Familiaritate cu conceptele SQL și de data warehouse
- Cunoștințe despre fundamentele lacului Delta