การแปลงและโหลดข้อมูลด้วย Dataflow Gen2

การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

Fiodar Sazanavets

Senior Software Engineer

การใช้ตัวกรอง

ตัวกรองคอลัมน์ Status ที่ล้างค่า Canceled และเลือก Completed

  • การแปลงข้อมูลควรขับเคลื่อนด้วยความต้องการ
  • กรองข้อมูลได้ทีละคอลัมน์ในหน้าตัวอย่างข้อมูล
    • ลบแถวตามค่าของคอลัมน์
การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

เพิ่มคอลัมน์กำหนดเอง

  • เพิ่มคอลัมน์กำหนดเองเพื่อคำนวณค่า
  • Revenue = [Quantity] * [UnitPrice]

กล่องโต้ตอบคอลัมน์กำหนดเองที่สร้าง Revenue เป็น Quantity คูณ UnitPrice ชนิดข้อมูล Decimal number

การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

เพิ่มปลายทางให้กับคิวรี

ตัวแก้ไข Dataflow Gen2 ที่มีปุ่มบวกของ Data destination อยู่ด้านล่างของ Query settings

  • ตำแหน่งที่ผลลัพธ์ที่แปลงแล้วไปอยู่
  • เครื่องหมาย + ข้าง Data destination ใน Query settings
  • Lakehouse, warehouse หรือที่เก็บข้อมูลอื่นที่รองรับ
การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

เลือกผู้ควบคุมปลายทาง

  • เปิด Use automatic settings: Fabric จัดการการแมป การแทนที่ และสคีมาให้
  • เหมาะกับตารางใหม่ที่สร้างใหม่ได้
  • การสร้างตารางใหม่อาจทำให้ความสัมพันธ์หรือเมเชอร์หายไป
  • ปิด: ควบคุมด้วยตนเองสำหรับ append สคีมาคงที่ หรือตารางที่มีอยู่แล้ว

การตั้งค่าเลือกปลายทางที่เปิด Use automatic settings และ Fabric จัดการการแมปคอลัมน์ OrderID และ OrderDate

การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

กำหนดสิ่งที่ปลายทางจะเก็บไว้

Append

  • เก็บแถวเดิมไว้ แล้วเพิ่มผลลัพธ์ปัจจุบัน
  • ไม่รองรับการเปลี่ยนแปลงสคีมา

Replace

  • สร้างใหม่จากผลลัพธ์ปัจจุบัน
  • สคีมาแบบคงที่จะคงคอลัมน์ไว้ ส่วนสคีมาแบบไดนามิกจะสร้างตารางใหม่
  • ตรวจสอบการแมปเมื่อคอลัมน์ต้นทางเปลี่ยนแปลง

การตั้งค่าปลายทางแบบกำหนดเองที่ Update method ตั้งเป็น Replace เลือก Dynamic schema แทน Fixed schema และการแมปคอลัมน์ด้านล่าง

การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

การรีเฟรชช่วยให้ข้อมูลที่เตรียมไว้เป็นปัจจุบัน

เมนูรายการ Dataflow ในพื้นที่ทำงาน พร้อมไฮไลต์ Refresh now และ Recent runs

  • ข้อมูลต้นทางเปลี่ยนแปลง ผลลัพธ์จึงล้าสมัย
  • การรีเฟรชจะรันขั้นตอนแยก แปลง และโหลดที่บันทึกไว้ซ้ำ
  • ทำคิวรีซ้ำโดยไม่ต้องออกแบบใหม่
  • ตรวจสอบผลสำเร็จหรือล้มเหลวของแต่ละรอบ
การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

เลือกเวลาและปริมาณการรีเฟรช

  • ตัวกระตุ้นการรีเฟรช:
    • On-demand: เริ่มทันที
    • Scheduled: เลือกวันและเวลา
  • ประเภทการรีเฟรช:
    • Full: ประมวลผลใหม่ทั้งหมด เหมาะกับตารางขนาดเล็กหรือที่เปลี่ยนแปลงบ่อย
    • Incremental: แบ่งตามช่วงเวลา เหมาะกับข้อมูลขนาดใหญ่ที่มีคอลัมน์วันที่-เวลาที่เชื่อถือได้

ตั้งค่ากำหนดการ Dataflow ให้ทำซ้ำทุกสัปดาห์ในวันจันทร์ เวลา 12:00 น.

1 https://learn.microsoft.com/en-us/fabric/data-factory/dataflow-gen2-incremental-refresh
การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

มาฝึกกันเถอะ!

การนำเข้าข้อมูลและโมเดลเชิงความหมายด้วย Microsoft Fabric

Preparing Video For Download...