Projetar e implementar pipelines de dados com o Azure Databricks
Intermediário
Engenheiro de dados
Azure Databricks
Aprenda a projetar e implementar pipelines de dados robustos no Azure Databricks usando notebooks e Pipelines Declarativos do Lakeflow Spark, abrangendo orquestração, gestão de erros e lógica de tarefas.
Objetivos de aprendizagem
Ao final deste módulo, você saberá como:
- Crie a ordem das operações para pipelines de dados, desde a ingestão até a distribuição.
- Escolha entre notebooks e Pipelines Declarativos do Lakeflow Spark com base em casos de uso.
- Projetar lógica de tarefas, dependências e padrões de execução para Jobs do Lakeflow.
- Implemente estratégias de tratamento de erros, incluindo políticas de repetição e expectativas.
- Crie pipelines de dados usando notebooks e Pipelines Declarativos do Lakeflow Spark.
Pré-requisitos
Os seguintes pré-requisitos devem ser concluídos:
- Compreensão básica dos workspaces do Azure Databricks
- Familiaridade com conceitos básicos e de governança do Catálogo do Unity
- Conhecimento dos princípios do SQL e da organização de dados