ใช้โซลูชันการวิเคราะห์ข้อมูลด้วย Azure Databricks

  • เส้นทางการเรียนรู้
  • 6 โมดูล

สรุปย่อ

ในตอนท้ายของเส้นทางการเรียนรู้นี้ คุณจะได้สร้างทักษะระดับกลางถึงขั้นสูงที่มั่นคงทั้งใน Databricks และ Spark บน Azure คุณสามารถนําเข้า แปลง และวิเคราะห์ชุดข้อมูลขนาดใหญ่โดยใช้ Spark DataFrames, Spark SQL และ PySpark ทําให้คุณมั่นใจในการทํางานกับการประมวลผลข้อมูลแบบกระจาย ภายใน Databricks คุณรู้วิธีนําทางพื้นที่ทํางาน จัดการคลัสเตอร์ และสร้างและบํารุงรักษาตารางเดลต้า

คุณยังสามารถออกแบบและเรียกใช้ไปป์ไลน์ ETL เพิ่มประสิทธิภาพตารางเดลต้า จัดการการเปลี่ยนแปลงสคีมา และใช้กฎคุณภาพข้อมูล นอกจากนี้ คุณจะได้เรียนรู้วิธีประสานปริมาณงานด้วย Lakeflow Jobs และไปป์ไลน์ ซึ่งช่วยให้คุณสามารถเปลี่ยนจากการสํารวจไปสู่เวิร์กโฟลว์อัตโนมัติได้ สุดท้าย คุณจะคุ้นเคยกับคุณลักษณะด้านการกํากับดูแลและความปลอดภัย รวมถึง Unity Catalog, การรวม Purview และการจัดการการเข้าถึง ซึ่งเตรียมคุณให้พร้อมสําหรับการทํางานอย่างมีประสิทธิภาพในสภาพแวดล้อมข้อมูลที่พร้อมใช้งานจริง

สิ่งที่จำเป็นต้องมี

ก่อนเริ่มเส้นทางการเรียนรู้นี้ คุณควรคุ้นเคยกับพื้นฐานของ Python และ SQL อยู่แล้ว ซึ่งรวมถึงความสามารถในการเขียนสคริปต์ Python อย่างง่ายและทํางานกับโครงสร้างข้อมูลทั่วไป ตลอดจนการเขียนแบบสอบถาม SQL เพื่อกรอง รวม และรวมข้อมูล ความเข้าใจพื้นฐานเกี่ยวกับรูปแบบไฟล์ทั่วไป เช่น CSV, JSON หรือ Parquet จะช่วยได้เมื่อทํางานกับชุดข้อมูล

นอกจากนี้ ความคุ้นเคยกับพอร์ทัล Azure และบริการหลัก เช่น Azure Storage เป็นสิ่งสําคัญ ควบคู่ไปกับการรับรู้ทั่วไปเกี่ยวกับแนวคิดข้อมูล เช่น การประมวลผลแบบแบตช์เทียบกับการสตรีม และข้อมูลที่มีโครงสร้างเทียบกับข้อมูลที่ไม่มีโครงสร้าง แม้ว่าจะไม่บังคับ แต่การสัมผัสกับเฟรมเวิร์กข้อมูลขนาดใหญ่ เช่น Spark และประสบการณ์การทํางานกับโน้ตบุ๊ก Jupyter ก่อนหน้านี้สามารถทําให้การเปลี่ยนไปใช้ Databricks ราบรื่นขึ้น

โมดูลในพาธการเรียนรู้นี้

สํารวจ Azure Databricks

Azure Databricks เป็นบริการระบบคลาวด์ที่มีแพลตฟอร์มที่ปรับขนาดได้สําหรับการวิเคราะห์ข้อมูลโดยใช้ Apache Spark

ดําเนินการวิเคราะห์ข้อมูลด้วย Azure Databricks

เรียนรู้วิธีการวิเคราะห์ข้อมูลโดยใช้ Azure Databricks สํารวจวิธีการนําเข้าข้อมูลต่าง ๆ และวิธีการรวมข้อมูลจากแหล่งข้อมูล เช่น Azure Data Lake และฐานข้อมูล Azure SQL โมดูลนี้จะแนะนําคุณผ่านการใช้สมุดบันทึกที่ทํางานร่วมกันเพื่อดําเนินการวิเคราะห์ข้อมูลเชิงสํารวจ (EDA) เพื่อให้คุณสามารถแสดงภาพ จัดการ และตรวจสอบข้อมูลเพื่อเปิดเผยรูปแบบ ความผิดปกติ และความสัมพันธ์

ใช้ Apache Spark ใน Azure Databricks

Azure Databricks ถูกสร้างขึ้นบน Apache Spark และช่วยให้วิศวกรข้อมูลและนักวิเคราะห์สามารถเรียกใช้งาน Spark เพื่อแปลง วิเคราะห์ และแสดงข้อมูลตามขนาดได้

จัดการข้อมูลด้วย Delta Lake

Delta Lake เป็นโซลูชันการจัดการข้อมูลใน Azure Databricks ที่มีคุณลักษณะต่าง ๆ รวมถึงธุรกรรม ACID การบังคับใช้ Schema และการเดินทางในเวลาเพื่อให้แน่ใจถึงความสอดคล้องของข้อมูล ความสมบูรณ์ และการกําหนดเวอร์ชันความสามารถ

สร้างไปป์ไลน์แบบประกาศ Lakeflow

การสร้างไปป์ไลน์แบบประกาศ Lakeflow ช่วยให้สามารถประมวลผลข้อมูลแบบเรียลไทม์ ปรับขนาดได้ และเชื่อถือได้โดยใช้คุณสมบัติขั้นสูงของ Delta Lake ใน Azure Databricks

ปรับใช้ปริมาณงานด้วย Lakeflow Jobs

การปรับใช้ปริมาณงานด้วย Lakeflow Jobs เกี่ยวข้องกับการประสานและทําให้ไปป์ไลน์การประมวลผลข้อมูลที่ซับซ้อน เวิร์กโฟลว์แมชชีนเลิร์นนิ่ง และงานการวิเคราะห์เป็นแบบอัตโนมัติ ในโมดูลนี้ คุณจะได้เรียนรู้วิธีปรับใช้ปริมาณงานด้วยงาน Databricks Lakeflow

เริ่ม