นำการปรับปรุงประสิทธิภาพไปใช้

การแปลงและวิเคราะห์ข้อมูลด้วย Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

กลยุทธ์การปรับแต่งประสิทธิภาพ

• ปรับแต่งการออกแบบ Fabric items
• Scale up
• Scale out

การปรับแต่ง SQL

• จำกัดคิวรีให้ดึงเฉพาะคอลัมน์และการดำเนินการที่จำเป็น

การปรับแต่ง SQL

• จำกัดคิวรีให้ดึงเฉพาะคอลัมน์และการดำเนินการที่จำเป็น
• ใช้ชนิดข้อมูลที่เล็กที่สุดเท่าที่ทำได้

การปรับแต่ง SQL

• จำกัดคิวรีให้ดึงเฉพาะคอลัมน์และการดำเนินการที่จำเป็น
• ใช้ชนิดข้อมูลที่เล็กที่สุดเท่าที่ทำได้
• ใช้การออกแบบ star schema

การปรับแต่ง SQL

• จำกัดคิวรีให้ดึงเฉพาะคอลัมน์และการดำเนินการที่จำเป็น
• ใช้ชนิดข้อมูลที่เล็กที่สุดเท่าที่ทำได้
• ใช้การออกแบบ star schema
• ใช้ system views เพื่อตรวจสอบการใช้งานคิวรี

SELECT *
FROM sys.dm_exec_requests;

การปรับแต่ง Notebooks

• ใช้ประโยชน์จาก Spark History Server

การปรับแต่ง Notebooks

• ใช้ประโยชน์จาก Spark History Server
• หยุด Spark session ที่ใช้งานอยู่เมื่อไม่ได้ใช้

การปรับแต่ง Notebooks

• ใช้ประโยชน์จาก Spark History Server
• หยุด Spark session ที่ใช้งานอยู่เมื่อไม่ได้ใช้
• เมื่อต้องการ join ข้อมูล ให้ลดปริมาณข้อมูลในหน่วยความจำก่อนดำเนินการ join

การปรับแต่ง dataflows

• ลดการดำเนินการที่มีต้นทุนสูง เช่น การเรียงลำดับ

การปรับแต่ง dataflows

• ลดการดำเนินการที่มีต้นทุนสูง เช่น การเรียงลำดับ
• Query folding
  • โอนงานประมวลผลไปยังแหล่งข้อมูล

การปรับแต่ง dataflows

• ลดการดำเนินการที่มีต้นทุนสูง เช่น การเรียงลำดับ
• Query folding
  • โอนงานประมวลผลไปยังแหล่งข้อมูล
• การเปิด/ปิด Staging
  • ปิดสำหรับการโหลดข้อมูลขนาดเล็กหรือการแปลงข้อมูลที่เรียบง่าย
  • เปิดสำหรับการโหลดข้อมูลขนาดใหญ่หรือการแปลงข้อมูลที่ซับซ้อน

Scale Up

• เพิ่มขนาด SKU
• SKU ที่ใหญ่ขึ้น = กำลังการประมวลผลมากขึ้น

v

Scale Up

ตัวอย่าง: Scale up จาก F64 (8 v-cores) เป็น F128 (16 v-cores)

Scale Out

• ย้าย items บางส่วนไปยัง Fabric capacity อื่น
• แยก workloads ออกจากกัน
  • Production กับ non-production
  • แต่ละส่วนของธุรกิจ เช่น capacity แยกสำหรับรายงานผู้บริหาร

Scale Out

มาฝึกกันเถอะ!

การแปลงและวิเคราะห์ข้อมูลด้วย Microsoft Fabric