Delta Lake 表优化

使用 Microsoft Fabric 进行数据转换与分析

Luis Silva

Solution Architect - Data & AI

什么是 Delta Lake？

• 数据湖仓的开源存储层
• 支持 ACID 事务、元数据管理与版本控制
• Fabric 以 Delta Lake 表格式（Parquet）为标准
• 在各 Fabric 体验间可互通

表维护

• 让 Delta 表保持良好状态
• 表维护操作：
  • Optimize
  • V-Order
  • Vacuum

Optimize

• 将多个小 Parquet 文件合并为大文件
  • 理想文件大小 128MB–1GB
  • 提升压缩与分布，读更高效
  • 加载大表后建议执行优化

Optimize

• 将多个小 Parquet 文件合并为大文件
  • 理想文件大小 128MB–1GB
  • 提升压缩与分布，读更高效
  • 加载大表后建议执行优化

在 Lakehouse 资源管理器中运行 Optimize 命令

在 Spark SQL 中运行 Optimize 命令

%%sql
OPTIMIZE <lakehouse>.<table>;

在 PySpark 中运行 Optimize 命令

from delta.tables import DeltaTable

dt = DeltaTable.forPath( spark, "Tables/<table>" )
dt.optimize().executeCompaction()

V-Order

• 写入 Parquet 时的专项优化
• 默认启用

在 Lakehouse 资源管理器中应用 V-Order

在 Apache Spark 会话中控制 V-Order 写入

• 为会话启用 V-Order

  %%sql 
  SET spark.sql.parquet.vorder.enabled=TRUE
  

   

• 为会话禁用 V-Order

  %%sql 
  SET spark.sql.parquet.vorder.enabled=FALSE
  

优化表时应用 V-Order

%%sql 
OPTIMIZE <table|fileOrFolderPath> VORDER;

Vacuum

• 移除超过保留期限且不再需要的旧文件
• 降低云存储成本

Vacuum

• 移除超过保留期限且不再需要的旧文件
• 降低云存储成本

在 Lakehouse 资源管理器中运行 Vacuum

¡Vamos a practicar!

使用 Microsoft Fabric 进行数据转换与分析