Implementar processos de ciclo de vida de desenvolvimento no Azure Databricks
Intermediário
Engenheiro de dados
Azure Databricks
Azure Databricks integra-se às práticas de desenvolvimento estabelecidas por meio de pastas Git para controle de versão e Pacotes de Automação Declarativa para implantações de infraestrutura como código. Este módulo explora as melhores práticas de controle de versão do Git, fluxos de trabalho de ramificação e solicitação de pull, estratégias de teste abrangentes e implantação de pacote baseada em CLI entre ambientes.
Objetivos de aprendizagem
Ao final deste módulo, você saberá como:
- Aplicar as práticas recomendadas de controle de versão do Git usando pastas Git no Azure Databricks
- Gerenciar ramificação, solicitações de pull e resolução de conflitos para desenvolvimento colaborativo
- Implementar uma estratégia de teste, incluindo testes unitários, de integração, ponta a ponta e de aceitação do usuário.
- Configurar e personalizar pacotes de automação declarativa para automação de implantação
- Implantar pacotes usando a CLI do Databricks em ambientes de desenvolvimento e produção
Pré-requisitos
Os seguintes pré-requisitos devem ser concluídos:
- Compreensão básica dos conceitos de controle de versão do Git
- Conhecimento dos workspaces do Azure Databricks
- Experiência com programação do Python e notebooks
- Conhecimento dos conceitos básicos de engenharia de dados