最佳化 Dataflow 效能

Microsoft Fabric 的資料擷取與語意模型

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Dataflows Gen2 的暫存機制

在轉換期間暫存資料以最佳化效能

  • 暫存成品：
    • 在資料轉換時使用的隱藏 Lakehouse 內部儲存
    • 由 Dataflows 自動管理；不提供使用者直接存取
  • 何時使用暫存：
    • 預設啟用以提升 SQL 端點效能
    • 直寫 Lakehouse 與非 Warehouse 載入時停用（可再啟用）
  • 移除暫存資料：
    • 停用暫存並重新整理（30 天後自動清除）
    • 刪除 dataflow 或工作區可立即移除
Microsoft Fabric 的資料擷取與語意模型

以 Fast Copy 加速資料匯入

可高效擴充的大量資料匯入功能，提升大型資料集處理效率

  • 架構： 將繁重負載從 Power Query 重新分配到高效能管線，加速處理
  • 效益： 利用可擴充的後端資源處理大量資料，將處理時間降到最低

DataFlows Gen2 Fast Copy 架構

Microsoft Fabric 的資料擷取與語意模型

最佳化 Fast Copy：先決條件與關鍵設定

先決條件：

  • 檔案：100 MB 以上（CSV/Parquet）
  • 資料庫：500 萬列以上（Azure SQL DB、PostgreSQL）
  • 支援的連接器：ADLS Gen2、Blob Storage、SQL DB、Lakehouse、PostgreSQL、內部部署 SQL Server、Warehouse、Oracle
  • 支援的轉換：合併檔案、選取欄位、變更資料型別、重新命名／移除欄位

「Require Fast Copy」選項：

  • 強制使用 Fast Copy；未達條件時立即失敗
  • 省去慢速處理的長時間等待
Microsoft Fabric 的資料擷取與語意模型

Dataflow Gen2 預設目的地

  • 為特定資料目的地（Lakehouse、Warehouse 或 KQL Database）建立獨立的 Dataflows。

  • 系統會自動套用預設的目的地設定，加快開發！

預設行為：以下為無法更改的預設行為

  • Lakehouse： 取代更新方式、動態結構
  • Warehouse／KQL Database： 附加更新方式、固定結構

Dataflows Gen2 的預設資料目的地

Microsoft Fabric 的資料擷取與語意模型

一起來練習吧！

Microsoft Fabric 的資料擷取與語意模型

Preparing Video For Download...