Delta Lake 資料表最佳化

使用 Microsoft Fabric 進行資料轉換與分析

Luis Silva

Solution Architect - Data & AI

什麼是 Delta Lake？

• Lakehouse 的開源儲存層
• ACID 交易、後設資料處理與版本控管
• Fabric 以 Delta Lake 資料表格式（Parquet）為標準
• 跨 Fabric 體驗互通

資料表維護

• 讓 delta 資料表維持良好狀態
• 資料表維護作業：
  • Optimize
  • V-Order
  • Vacuum

Optimize

• 將多個小型 Parquet 檔合併為大型檔
  • 理想檔案大小為 128MB 至 1GB
  • 改善壓縮與分佈，提高讀取效率
  • 載入大型資料表後建議執行最佳化

Optimize

• 將多個小型 Parquet 檔合併為大型檔
  • 理想檔案大小為 128MB 至 1GB
  • 改善壓縮與分佈，提高讀取效率
  • 載入大型資料表後建議執行最佳化

在 Lakehouse explorer 執行 Optimize 指令

在 Spark SQL 執行 Optimize 指令

%%sql
OPTIMIZE <lakehouse>.<table>;

在 PySpark 執行 Optimize 指令

from delta.tables import DeltaTable

dt = DeltaTable.forPath( spark, "Tables/<table>" )
dt.optimize().executeCompaction()

V-Order

• 針對寫入 Parquet 檔的特殊最佳化
• 預設啟用

在 Lakehouse explorer 套用 V-Order

在 Apache Spark 工作階段控制 V-Order 寫入

• 在此工作階段啟用 V-Order

  %%sql 
  SET spark.sql.parquet.vorder.enabled=TRUE
  

   

• 在此工作階段停用 V-Order

  %%sql 
  SET spark.sql.parquet.vorder.enabled=FALSE
  

在最佳化資料表時套用 V-Order

%%sql 
OPTIMIZE <table|fileOrFolderPath> VORDER;

Vacuum

• 移除不再需要、且早於保留門檻的舊檔案
• 降低雲端儲存成本

Vacuum

• 移除不再需要、且早於保留門檻的舊檔案
• 降低雲端儲存成本

在 Lakehouse explorer 執行 Vacuum

一起來練習吧！

使用 Microsoft Fabric 進行資料轉換與分析