ออกแบบและใช้การสร้างแบบจําลองข้อมูลด้วย Azure Databricks
ปานกลาง
วิศวกรข้อมูล
Azure Databricks
การสร้างแบบจําลองข้อมูลที่มีประสิทธิภาพเป็นรากฐานของแพลตฟอร์มข้อมูลที่มีประสิทธิภาพและบํารุงรักษาได้ โมดูลนี้สํารวจวิธีการออกแบบตรรกะการนําเข้าเลือกเครื่องมือและรูปแบบตารางที่เหมาะสมใช้โครงร่างการแบ่งพาร์ติชันจัดการมิติที่เปลี่ยนแปลงอย่างช้าๆเลือกความละเอียดของข้อมูลที่เหมาะสมและเพิ่มประสิทธิภาพของตารางผ่านกลยุทธ์การจัดกลุ่มใน Azure Databricks ด้วย Unity Catalog
วัตถุประสงค์การเรียนรู้
ในตอนท้ายของโมดูลนี้ คุณจะสามารถ:
- ออกแบบตรรกะการนําเข้าข้อมูลและกําหนดค่าการเชื่อมต่อแหล่งข้อมูล
- เลือกเครื่องมือนําเข้าข้อมูลที่เหมาะสมกับสถานการณ์ของคุณ
- เลือกระหว่าง Delta Lake, Apache Iceberg และรูปแบบตารางอื่นๆ
- ออกแบบและใช้รูปแบบการแบ่งพาร์ติชันข้อมูลที่มีประสิทธิภาพ
- เลือกและใช้ชนิดมิติที่เปลี่ยนแปลงอย่างช้าๆ
- ออกแบบและใช้ตารางชั่วคราวสําหรับการติดตามการเปลี่ยนแปลงและการตรวจสอบ
- เลือกความละเอียดของข้อมูลที่เหมาะสมสําหรับตารางข้อเท็จจริงและมิติข้อมูล
- ออกแบบและใช้กลยุทธ์การจัดกลุ่มเพื่อการเพิ่มประสิทธิภาพคิวรี
- ประเมินว่าเมื่อใดควรใช้ตารางที่มีการจัดการเทียบกับตารางภายนอก
สิ่งที่จำเป็นต้องมี
ข้อกําหนดเบื้องต้นต่อไปนี้ควรเสร็จสมบูรณ์:
- ความเข้าใจพื้นฐานเกี่ยวกับพื้นที่ทํางาน Azure Databricks และแค็ตตาล็อก Unity
- ความคุ้นเคยกับแนวคิด SQL และคลังข้อมูล
- ความรู้เกี่ยวกับพื้นฐานของทะเลสาบเดลต้า