เพิ่มประสิทธิภาพ Dataflow Gen2

การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

Fiodar Sazanavets

Senior Software Engineer

หาขั้นตอนที่ช้าก่อนปรับเปลี่ยนการออกแบบ

  • Recent runs > เลือกเวลาที่เริ่มรัน
  • เปรียบเทียบ Duration ระหว่างตารางและกิจกรรมต่าง ๆ
  • แก้ไขขั้นตอนที่ช้าที่สุดก่อน
  • เปลี่ยนทีละอย่าง รีเฟรช แล้วเปรียบเทียบผล

ขั้นตอนการรีเฟรชพร้อมระยะเวลา: Extract 3 นาที, Transform 24 นาทีซึ่งเป็นจุดคอขวด, และ Load 4 นาที

การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

ลดภาระงานก่อนเพิ่มความซับซ้อน

การลดต้นทางที่มี 80 คอลัมน์ให้เหลือ 12 คอลัมน์และลดจำนวนแถวก่อนแปลงและโหลดเข้า lakehouse

  • ลบคอลัมน์ที่ไม่ใช้ใกล้ขั้นตอน Source (Choose columns / Remove columns)
  • ขั้นตอนถัดไปจะประมวลผลข้อมูลน้อยลง
  • กรองแถวด้วยตัวกรองคอลัมน์
การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

จัด staging การเตรียมข้อมูลที่ใช้ร่วมกันเพียงครั้งเดียว

เมนูคลิกขวาของคิวรี OrdersRaw แสดง Enable staging (เลือกไว้) และ Reference ขอบสีแดง

  • การล้างข้อมูลที่ใช้ทรัพยากรมากอาจป้อนให้หลายคิวรี
  • Enable staging จัดเก็บผลลัพธ์ที่ใช้ร่วมกัน
  • Reference สร้างคิวรีที่นำผลลัพธ์นั้นไปใช้ซ้ำ
การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

Fast Copy ใช้งานเมื่อใด

  • ใช้งานอัตโนมัติเมื่อคิวรีมีคุณสมบัติตรงตามเงื่อนไข

 

เงื่อนไข สิ่งที่ Fast Copy ต้องการ
ความจุ ความจุของ Fabric
ตัวเชื่อมต่อ ที่รองรับ เช่น Lakehouse, SQL, Snowflake, ADLS Gen2
การแปลงข้อมูล เฉพาะขั้นตอนที่รองรับเท่านั้น; ย้าย Group by หรือการ merge ไปยังคิวรีที่อ้างอิง
ขนาด ไฟล์ขนาด 100 MB ขึ้นไป หรือ 5M แถวขึ้นไปโดยค่าเริ่มต้น
ปลายทาง Lakehouse เท่านั้น
การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

เปิด/ปิด Fast Copy

ตัวชี้ที่ไอคอน Options บนริบบอน Home ของ Dataflow Gen2 พร้อมคำแนะนำเครื่องมือ "Manage options for your Power Query environment"

กล่องโต้ตอบ Options หน้า Scale โดยตั้งค่า Fast Copy "Allow use of fast copy connectors" ไว้และขอบสีแดง

  • เปิดใช้งานเป็นค่าเริ่มต้น ปิดส่วนใหญ่เพื่อแก้ไขปัญหา
  • Options > Scale > Allow use of fast copy connectors
  • Require fast copy ข้ามเกณฑ์ขนาดขั้นต่ำ
  • แต่การรีเฟรชจะล้มเหลวหาก Fast Copy ทำงานไม่ได้
การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

จับคู่แนวทางแก้ไขกับสาเหตุ

สาเหตุ แนวทางแก้ไข
ข้อมูลมากเกินไป ลดข้อมูลตั้งแต่เนิ่น ๆ
การเตรียมข้อมูลซ้ำ ๆ จัด staging ครั้งเดียว
โหลดข้อมูลจำนวนมาก แปลงข้อมูลเล็กน้อย Fast Copy
มีการแตกสาขา การแจ้งเตือน การประสานงาน Pipeline
ต้องการทำซ้ำข้อมูลต่อเนื่อง Mirroring
merge หนักบนตารางขนาดใหญ่ ผลักไปที่ต้นทาง (view หรือคิวรีที่ fold ได้)
เครื่องมือไม่เหมาะกับปัญหา เปลี่ยนเครื่องมือ
การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

มาฝึกกันเถอะ!

การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

Preparing Video For Download...