ใช้ Python สําหรับ Apache Spark

Microsoft Fabric ให้การสนับสนุน Python ในตัวสําหรับ Apache Spark การสนับสนุนรวมถึง PySpark ซึ่งช่วยให้ผู้ใช้สามารถโต้ตอบกับ Spark โดยใช้อินเทอร์เฟซ Spark หรือ Python ที่คุ้นเคย

คุณสามารถวิเคราะห์ข้อมูลโดยใช้ Python ผ่านข้อกําหนดชุดงาน Spark หรือด้วยสมุดบันทึก Fabric แบบโต้ตอบ บทความนี้แสดงภาพรวมของการพัฒนาแอปพลิเคชัน Spark ใน Synapse โดยใช้ภาษา Python

สร้างและเรียกใช้เซสชันของสมุดบันทึก

Microsoft Fabric notebook เป็นอินเทอร์เฟซเว็บสําหรับคุณในการสร้างไฟล์ที่ประกอบด้วยโค้ดสด การแสดงภาพ และข้อความคําบรรยาย สมุดบันทึกเป็นจุดที่ดีในการตรวจสอบแนวคิดและใช้การทดลองด่วนเพื่อรับข้อมูลเชิงลึกจากข้อมูลของคุณ นอกจากนี้ยังมีการใช้สมุดบันทึกอย่างแพร่หลายในการเตรียมข้อมูล การจัดรูปแบบข้อมูล การเรียนรู้ของเครื่อง และสถานการณ์ข้อมูลขนาดใหญ่อื่นๆ

เมื่อต้องการเริ่มต้นใช้งาน Python ในสมุดบันทึก Microsoft Fabric ให้เปลี่ยนภาษาหลักที่ด้านบนของสมุดบันทึกของคุณโดยการตั้งค่าตัวเลือกภาษาเป็น PySpark (Python)

%%pyspark
# Enter your Python code here

คุณสามารถใช้หลายภาษาในสมุดบันทึกเดียวโดยระบุคําสั่งเวทมนตร์ภาษาที่จุดเริ่มต้นของเซลล์

เมื่อต้องการเรียนรู้เพิ่มเติมเกี่ยวกับสมุดบันทึกใน Microsoft Fabric Analytics ดูวิธีการใช้สมุดบันทึก

ติดตั้งแพคเกจ

ไลบรารีมีโค้ดที่สามารถนํามาใช้ใหม่ได้ซึ่งคุณสามารถรวมไว้ในโปรแกรมหรือโครงการของคุณได้ เมื่อต้องการให้รหัสคู่ค้าหรือรหัสที่สร้างขึ้นภายในเครื่องพร้อมใช้งานสําหรับแอปพลิเคชันของคุณ ให้ติดตั้งไลบรารีในบรรทัดลงในเซสชันสมุดบันทึกของคุณ อีกวิธีหนึ่งคือ ผู้ดูแลระบบพื้นที่ทํางานของคุณสามารถสร้างสภาพแวดล้อม ติดตั้งไลบรารีในนั้น และแนบสภาพแวดล้อมเป็นค่าเริ่มต้นในพื้นที่ทํางานในการตั้งค่าพื้นที่ทํางาน

หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับการจัดการไลบรารีใน Microsoft Fabric โปรดดู จัดการไลบรารี Apache Spark

อรรถประโยชน์สมุดบันทึก

Microsoft Spark Utilities (MSSparkUtils) เป็นแพคเกจที่มีอยู่แล้วภายใน เพื่อช่วยให้คุณทํางานทั่วไปได้อย่างง่ายดาย คุณสามารถใช้ MSSparkUtils เพื่อทํางานกับระบบไฟล์ รับตัวแปรสภาพแวดล้อม เพื่อเกี่ยวโยงสมุดบันทึกเข้าด้วยกัน และทํางานกับข้อมูลลับ MSSparkUtils ได้รับการสนับสนุนสําหรับสมุดบันทึก PySpark

เมื่อต้องเริ่มต้นใช้งาน เรียกใช้คําสั่งต่อไปนี้:

from notebookutils import mssparkutils
mssparkutils.notebook.help()

สําหรับข้อมูลเพิ่มเติมเกี่ยวกับคําสั่ง MSSparkUtils ที่ได้รับการสนับสนุน ให้ดู ใช้โปรแกรมอรรถประโยชน์ Microsoft Spark

ใช้ Pandas บน Spark

Pandas API บน Spark ช่วยให้คุณสามารถปรับขนาดปริมาณงาน Pandas ของคุณในทุกขนาดโดยการเรียกใช้งานที่กระจายในหลายโหนด ถ้าคุณคุ้นเคยกับ pandas อยู่แล้วและต้องการใช้ Spark สําหรับข้อมูลขนาดใหญ่ pandas API บน Spark จะช่วยให้คุณทํางานได้ทันที

คุณสามารถโยกย้ายแอปพลิเคชันของคุณได้โดยไม่ต้องปรับเปลี่ยนโค้ด คุณสามารถมีโค๊ดเดี่ยวที่ใช้งานได้ทั้งกับ pandas สําหรับการทดสอบและชุดข้อมูลที่มีขนาดเล็กลง และด้วย Spark สําหรับชุดข้อมูลการผลิตและชุดข้อมูลแบบกระจาย คุณสามารถสลับระหว่าง Pandas API และ Pandas API บน Spark ได้อย่างง่ายดายและไม่ต้องเสียค่าใช้จ่าย

รันไทม์ Python

Microsoft Fabric Runtime เป็นสภาพแวดล้อมที่รวบรวมรวบรวมไว้ซึ่งปรับให้เหมาะสมที่สุดสําหรับวิทยาศาสตร์ข้อมูลและการเรียนรู้ของเครื่อง รันไทม์ Microsoft Fabric นําเสนอช่วงของไลบรารีโอเพนซอร์สของ Python ที่ได้รับความนิยม รวมถึงไลบรารีเช่น Pandas, PyTorch, scikit-learn และ XGBoost

การแสดงภาพข้อมูล Python

ระบบนิเวศของ Python มีไลบรารีกราฟหลายรายการที่มาพร้อมกับคุณสมบัติที่แตกต่างกันมากมาย ตามค่าเริ่มต้น ทุกอินสแตนซ์ Spark ใน Microsoft Fabric มีชุดของไลบรารีโอเพนซอร์สที่รวบรวมและได้รับความนิยม คุณยังสามารถเพิ่มหรือจัดการไลบรารีหรือเวอร์ชันอื่นๆ ได้ สําหรับข้อมูลเพิ่มเติมเกี่ยวกับการจัดการไลบรารี ดู สรุปแนวทางปฏิบัติที่ดีที่สุดสําหรับการจัดการไลบรารี

หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับวิธีการสร้างการแสดงภาพของ Python โปรดดู การแสดงผลข้อมูลด้วยภาพของ Python

เนื้อหาที่เกี่ยวข้อง

  • Last updated on