Projektowanie i implementowanie modelowania danych za pomocą usługi Azure Databricks
Średni
Inżynier danych
Azure Databricks
Efektywne modelowanie danych stanowi podstawę wydajnej i możliwej do utrzymania platformy danych. W tym module przedstawiono sposób projektowania logiki pozyskiwania, wybierania odpowiednich narzędzi i formatów tabel, implementowania schematów partycjonowania, zarządzania powoli zmieniającymi się wymiarami, wybierania odpowiedniej granularności danych oraz optymalizacji wydajności tabel dzięki strategiom klastrowania w usłudze Azure Databricks przy użyciu Unity Catalog.
Cele szkolenia
Po ukończeniu tego modułu będziesz wiedzieć, jak wykonać następujące czynności:
- Projektowanie logiki pozyskiwania danych i konfigurowanie połączeń ze źródłem danych
- Wybierz odpowiednie narzędzie do pozyskiwania danych dla danego scenariusza
- Wybieranie między usługami Delta Lake, Apache Iceberg i innymi formatami tabel
- Projektowanie i implementowanie skutecznych schematów partycjonowania danych
- Wybieranie i implementowanie powoli zmieniających się typów wymiarów
- Projektowanie i implementowanie tabel czasowych na potrzeby śledzenia zmian i inspekcji
- Wybieranie odpowiedniego stopnia szczegółowości danych dla tabel faktów i wymiarów
- Projektowanie i implementowanie strategii klastrowania na potrzeby optymalizacji zapytań
- Ocena, kiedy używać tabel zarządzanych i zewnętrznych
Wymagania wstępne
Należy wykonać następujące wymagania wstępne:
- Podstawowa wiedza na temat obszarów roboczych Azure Databricks i Unity Catalog
- Znajomość pojęć związanych z usługą SQL i magazynem danych
- Znajomość podstaw usługi Delta Lake