Azure Databricks를 사용하여 데이터 모델링 디자인 및 구현
중급
데이터 엔지니어
Azure Databricks
효과적인 데이터 모델링은 성능이 향상되고 유지 관리 가능한 데이터 플랫폼의 토대를 형성합니다. 이 모듈에서는 수집 논리를 디자인하고, 적절한 도구 및 테이블 형식을 선택하고, 분할 체계를 구현하고, 느린 변경 차원을 관리하고, 적절한 데이터 세분성을 선택하고, Unity 카탈로그를 사용하여 Azure Databricks의 클러스터링 전략을 통해 테이블 성능을 최적화하는 방법을 살펴봅니다.
학습 목표
이 모듈을 마치면 다음을 수행할 수 있습니다.
- 데이터 수집 논리 디자인 및 데이터 원본 연결 구성
- 시나리오에 적합한 데이터 수집 도구 선택
- Delta Lake, Apache Iceberg 및 기타 테이블 형식 중에서 선택
- 효과적인 데이터 분할 체계 디자인 및 구현
- 느리게 변화하는 차원 유형 선택 및 구현
- 변경 내용 추적 및 감사를 위한 임시 테이블 디자인 및 구현
- 팩트 및 차원 테이블에 적절한 데이터 세분성 선택
- 쿼리 최적화를 위한 클러스터링 전략 디자인 및 구현
- 관리되는 테이블과 외부 테이블을 사용하는 시기 평가
사전 요구 사항
다음 필수 구성 요소를 완료해야 합니다.
- Azure Databricks 작업 영역 및 Unity 카탈로그에 대한 기본 이해
- SQL 및 데이터 웨어하우스 개념에 대한 숙지
- Delta Lake 기본 사항에 대한 지식