การเพิ่มประสิทธิภาพ Dataflow

การนำเข้าข้อมูลและ Semantic Model ด้วย Microsoft Fabric

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Staging ใน Dataflows Gen2

เก็บข้อมูลชั่วคราวระหว่างการแปลงข้อมูลเพื่อเพิ่มประสิทธิภาพ

Staging Artifacts:
- พื้นที่จัดเก็บภายใน Lakehouse ที่ซ่อนอยู่ ใช้ระหว่างการแปลงข้อมูล
- Dataflows จัดการโดยอัตโนมัติ ผู้ใช้ไม่สามารถเข้าถึงโดยตรง
เมื่อใดควรใช้ Staging:
- เปิดใช้งานโดยค่าเริ่มต้นเพื่อเพิ่มประสิทธิภาพ SQL endpoint
- ปิดใช้งานสำหรับการโหลด Lakehouse โดยตรงและแหล่งที่ไม่ใช่ Warehouse (สามารถเปิดใหม่ได้)
การลบข้อมูล Staging:
- ปิด Staging แล้ว Refresh (จะลบหลังจาก 30 วัน)
- ลบ Dataflow หรือ Workspace เพื่อลบทันที

ฟีเจอร์นำเข้าข้อมูลความเร็วสูงที่รองรับชุดข้อมูลขนาดใหญ่ได้อย่างมีประสิทธิภาพ

สถาปัตยกรรม: กระจาย Workload หนักจาก Power Query ไปยัง Pipeline ประสิทธิภาพสูงเพื่อประมวลผลเร็วขึ้น
ประโยชน์: ลดเวลาประมวลผลโดยใช้ทรัพยากร Backend ที่ปรับขนาดได้สำหรับข้อมูลขนาดใหญ่

สถาปัตยกรรม Fast Copy ของ DataFlows Gen2

เงื่อนไขเบื้องต้น:

ไฟล์: 100 MB ขึ้นไป (CSV/Parquet)
ฐานข้อมูล: 5 ล้านแถวขึ้นไป (Azure SQL DB, PostgreSQL)
Connector ที่รองรับ: ADLS Gen2, Blob Storage, SQL DB, Lakehouse, PostgreSQL, On premise SQL Server, Warehouse, Oracle
การแปลงข้อมูลที่รองรับ: รวมไฟล์, เลือกคอลัมน์, เปลี่ยนชนิดข้อมูล, เปลี่ยนชื่อ/ลบคอลัมน์

ตัวเลือก Require Fast Copy:

สร้าง Dataflow แบบ Stand-alone สำหรับปลายทางข้อมูลที่กำหนด (Lakehouse, Warehouse หรือ KQL Database)
การตั้งค่าปลายทางข้อมูลที่กำหนดไว้ล่วงหน้าจะถูกนำไปใช้โดยอัตโนมัติ เพิ่มความเร็วในการพัฒนา!

พฤติกรรมค่าเริ่มต้น: รายการต่อไปนี้เป็นค่าเริ่มต้นและไม่สามารถเปลี่ยนได้

ปลายทางข้อมูลเริ่มต้นใน Dataflows Gen2

การนำเข้าข้อมูลและ Semantic Model ด้วย Microsoft Fabric