Projektowanie i implementowanie potoków danych za pomocą usługi Azure Databricks
Średni
Inżynier danych
Azure Databricks
Dowiedz się, jak projektować i implementować niezawodne potoki danych w usłudze Azure Databricks przy użyciu notebooków i deklaratywnych potoków Spark Lakeflow, obejmujących orkiestrację, obsługę błędów i logikę zadań.
Cele szkolenia
Po ukończeniu tego modułu będziesz wiedzieć, jak wykonać następujące czynności:
- Zaprojektuj kolejność operacji dla potoków danych od pozyskiwania do obsługi.
- Wybierz między notebookami a Lakeflow Spark Declarative Pipelines na podstawie przypadków użycia.
- Projektowanie logiki, zależności i wzorców wykonywania zadań dla Lakeflow Jobs.
- Implementowanie strategii obsługi błędów, w tym zasad ponawiania prób i oczekiwań.
- Utwórz potoki danych używając zarówno notesów, jak i deklaratywnych potoków Spark w Lakeflow.
Wymagania wstępne
Należy wykonać następujące wymagania wstępne:
- Podstawowa wiedza na temat obszarów roboczych usługi Azure Databricks
- Znajomość podstaw Katalogu Unity i koncepcji zarządzania
- Znajomość zasad dotyczących bazy danych SQL i organizacji danych