Tối ưu hiệu năng Dataflow

Nạp dữ liệu và Mô hình Ngữ nghĩa với Microsoft Fabric

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Staging trong Dataflows Gen2

Tạm lưu dữ liệu trong khi biến đổi để tối ưu hiệu năng

Tạo tầng trung gian:
- Lưu trữ Lakehouse nội bộ, ẩn, dùng trong biến đổi dữ liệu
- Dataflows tự quản lý; không cho người dùng truy cập trực tiếp
Khi nên dùng tầng trung gian:
- Bật mặc định để cải thiện hiệu năng SQL endpoint
- Tắt khi nạp trực tiếp vào Lakehouse và nguồn không phải warehouse (có thể bật lại)
Xóa dữ liệu trung gian:
- Tắt tính năng và làm mới (tự xóa sau 30 ngày)
- Xóa dataflow hoặc workspace để xóa ngay lập tức

Tính năng nạp dữ liệu tốc độ cao, mở rộng để xử lý tập dữ liệu lớn hiệu quả

Kiến trúc: Phân phối lại tải nặng từ Power Query sang pipeline hiệu năng cao để xử lý nhanh hơn
Lợi ích: Giảm thời gian xử lý nhờ tận dụng tài nguyên backend mở rộng cho dữ liệu lớn

Kiến trúc Fast Copy của DataFlows Gen2

Điều kiện tiên quyết:

Tệp: 100 MB+ (CSV/Parquet)
CSDL: 5M+ dòng (Azure SQL DB, PostgreSQL)
Connector hỗ trợ: ADLS Gen2, Blob Storage, SQL DB, Lakehouse, PostgreSQL, On premise SQL Server, Warehouse, Oracle
Biến đổi hỗ trợ: Combine files, Select columns, Change data types, Rename/Remove columns

Tùy chọn Require Fast Copy:

Tạo Dataflow độc lập cho từng đích dữ liệu (Lakehouse, Warehouse, hoặc KQL Database).
Thiết lập đích dữ liệu dựng sẵn được áp dụng tự động, tăng tốc phát triển!

Hành vi dựng sẵn: Các mặc định sau không thể thay đổi

Đích dữ liệu mặc định trong Dataflows Gen2

Nạp dữ liệu và Mô hình Ngữ nghĩa với Microsoft Fabric