เครื่องมือ Fabric สำหรับแยก แปลง และโหลดข้อมูล

การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

Fiodar Sazanavets

Senior Software Engineer

Dataflow Gen2 เตรียมคิวรีที่ทำซ้ำได้

  • ไฟล์คำสั่งซื้อรายสัปดาห์ต้องทำความสะอาดแบบเดิมซ้ำ
  • ไอเทม Fabric แบบ low-code ที่เปลี่ยนงานทำความสะอาดที่เกิดซ้ำให้เป็นกระบวนการที่บันทึกไว้
  • อยู่ระหว่างแหล่งข้อมูลต้นทางและปลายทาง
  • นำเข้า แปลง และโหลดข้อมูล
  • ทำซ้ำขั้นตอนเดิมทุกครั้งที่รีเฟรช

Dataflow Gen2 นำข้อมูลจากแหล่งที่มาฐานข้อมูล CSV และ JSON ผ่านขั้นตอนกรองข้อมูล เพิ่มคอลัมน์ และผสานข้อมูล เข้าสู่ lakehouse พร้อมวงจรรีเฟรชย้อนกลับไปจุดเริ่มต้น

การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

เครื่องมือแก้ไข Dataflow Gen2

เครื่องมือแก้ไข Dataflow Gen2 ในมุมมองไดอะแกรม แสดงริบบอน คิวรี Orders และ Products ตัวอย่างข้อมูล การตั้งค่าคิวรี และไอคอนมุมมองที่มุมล่างขวา

  • Ribbon: คำสั่งต่างๆ
  • Queries pane: รายการคิวรี
  • Data preview: ผลลัพธ์ปัจจุบัน
  • View icons (มุมล่างขวา): มุมมองไดอะแกรม ข้อมูล หรือสคีมา
  • Query settings: ขั้นตอนที่นำไปใช้และปลายทาง
การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

Power Query บันทึกทุกขั้นตอน

  • Power Query: เครื่องมือแก้ไขของ Dataflow Gen2 สำหรับจัดรูปแบบข้อมูล
  • แต่ละการกระทำจะกลายเป็นขั้นตอนที่นำไปใช้
  • Power Query เขียนโค้ด M ที่อยู่เบื้องหลังแต่ละขั้นตอน
  • ทำงานในเครื่องมือแก้ไขได้โดยไม่ต้องใช้ M
= Table.SelectRows(Source, each [Status] <> "Canceled")
การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

การป้อนข้อมูลด้วยตารางเปล่า

  • Get data from another source > Blank table

ไดอะล็อก Get data ที่ค้นหาคำว่า blank แสดงผลลัพธ์ Blank table

  • พิมพ์แถวข้อมูลลงในกริด ดับเบิลคลิกที่หัวคอลัมน์เพื่อเปลี่ยนชื่อ
  • ตั้งชื่อแต่ละคิวรีให้ชัดเจน เช่น Orders
  • เพิ่มตารางอื่นด้วย Enter data บน Home

กริดตาราง Blank table ที่มีคอลัมน์ OrderID, ProductID, Status, Quantity และ UnitPrice พร้อมแถวคำสั่งซื้อสามแถว และคิวรีชื่อ Orders

การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

ขั้นตอนที่นำไปใช้

  • Source เป็นจุดเริ่มต้นของคิวรี
  • แต่ละขั้นตอนจะแปลงผลลัพธ์จากขั้นตอนก่อนหน้า
  • เลือกขั้นตอนเพื่อตรวจสอบ แก้ไข จัดลำดับใหม่ หรือลบ
  • ขั้นตอนทั้งหมดจะรันซ้ำตามลำดับทุกครั้งที่รีเฟรช

การตั้งค่าคิวรีของ Orders ที่มีขั้นตอนที่นำไปใช้ ได้แก่ Source, Changed column type, Merged queries และ Filtered rows

การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

การแปลงข้อมูลที่พบบ่อย

  • Filter rows: ลบระเบียนที่ไม่ตรงตามเงื่อนไข
  • Change type: แก้ไขชนิดข้อมูลที่ถูกเก็บเป็นข้อความ
  • Add custom column: คำนวณค่าใหม่
  • Append queries: ต่อแถวจากคิวรีที่มีคอลัมน์เดียวกัน
  • Merge queries: เพิ่มคอลัมน์โดยจับคู่ด้วยคีย์ร่วม

การแปลงข้อมูลห้าแบบบนข้อมูล Orders ได้แก่ filter rows, change type, เพิ่มคอลัมน์ที่กำหนดเอง Revenue, append queries และ merge queries บน ProductID

การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

การผสานคิวรี

  • รวมคอลัมน์ที่กระจายอยู่คนละคิวรี (Orders + Products)
  • Merge queries จากคิวรีแรก
  • จับคู่ด้วยคีย์ร่วม เช่น ProductID
  • Left outer จะเก็บทุกแถวจากคิวรีแรก
  • ขยายคอลัมน์ที่ผสานแล้วเพื่อเลือกฟิลด์

เมนู Merge queries เปิดอยู่บนริบบอน Home โดยเลือกคิวรี Orders ไว้

ไดอะล็อก Merge เชื่อม Orders และ Products บน ProductID โดยเลือก Left outer ไว้

การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

มาฝึกกันเถอะ!

การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

Preparing Video For Download...