Préparer et traiter des données avec Azure Databricks
Aperçu
-
Level
-
Habileté
-
Produit
-
Rôle
-
Objet
Maîtrisez les compétences essentielles pour créer des solutions d’ingénierie de données robustes et évolutives avec Azure Databricks et Unity Catalog. Apprenez à concevoir des modèles de données efficaces, à ingérer des données provenant de diverses sources, à transformer des données brutes en formats prêts pour l’analytique et à garantir la qualité des données dans votre architecture lakehouse.
Dans ce parcours d’apprentissage, vous allez apprendre à créer un workflow d’ingénierie des données à l’aide d’Azure Databricks et du catalogue Unity. À compter des concepts fondamentaux de modélisation des données, vous allez concevoir des schémas et des stratégies de partitionnement optimisées pour les charges de travail analytiques. Vous allez ensuite explorer plusieurs modèles d’ingestion, des connecteurs managés aux pipelines de diffusion en continu, pour importer des données dans votre lakehouse. Ensuite, vous allez appliquer des techniques de transformation pour nettoyer et remodeler les données pour une utilisation commerciale. Enfin, vous allez implémenter des contrôles de qualité pour maintenir l’intégrité des données tout au long de vos pipelines. À la fin, vous aurez les compétences pratiques nécessaires pour concevoir et créer des solutions de données prêtes pour la production dans le catalogue Unity.
Prérequis
- Bonne compréhension des espaces de travail Azure Databricks et des concepts du catalogue Unity
- Connaissance de la programmation SQL et Python
- Connaissance des concepts fondamentaux de l’ingénierie des données et de l’entrepôt de données
Code de réussite
Souhaitez-vous demander un code de réussite ?
Modules de ce parcours d’apprentissage
Une modélisation efficace des données constitue la base d’une plateforme de données performante et gérable. Ce module explore comment concevoir une logique d’ingestion, sélectionner les outils et les formats de table appropriés, implémenter des schémas de partitionnement, gérer les dimensions à variation lente, choisir une granularité de données appropriée et optimiser les performances des tables via des stratégies de clustering dans Azure Databricks avec Unity Catalog.
L’ingestion des données est une fonctionnalité fondamentale pour n’importe quelle plateforme de données. Ce module explore l’ensemble complet de techniques disponibles dans Azure Databricks pour le chargement de données dans des tables Unity Catalog. Vous allez apprendre à utiliser des connecteurs managés avec Lakeflow Connect, écrire du code d’ingestion personnalisé dans des notebooks, appliquer des commandes SQL pour le chargement de fichiers par lots, traiter les flux de capture de données modifiées, configurer l’ingestion en continu à partir de bus de messages, configurer le chargeur automatique pour la détection automatique des fichiers et orchestrer des workflows d’ingestion avec des pipelines déclaratifs Lakeflow Spark.
L’ingénierie des données nécessite la transformation des données brutes en formats propres et bien structurés prêts à être analysés. Ce module explore les techniques de profilage de la qualité des données, la sélection des types de colonnes appropriés, la résolution des doublons et les valeurs null, l’application de transformations de filtrage et d’agrégation, la combinaison de jeux de données avec des jointures et des opérateurs de jeu, la réorganisation des données par le biais de la pivotation et de la dénormalisation et le chargement de données transformées à l’aide de stratégies d’ajout, de remplacement et de fusion.
Ce module explore les stratégies de gestion de la haute qualité des données dans Azure Databricks. Vous allez apprendre à implémenter des vérifications de validation, à appliquer des schémas, à gérer la dérive de schéma et à utiliser des attentes de pipeline pour garantir l’intégrité des données dans tous vos pipelines de données.