实施性能改进

使用 Microsoft Fabric 进行数据转换与分析

Luis Silva

Solution Architect - Data & AI

优化策略

• 优化 Fabric 项目的设计
• 垂直扩展（Scale up）
• 水平扩展（Scale out）

优化 SQL

• 仅查询所需列和操作

优化 SQL

• 仅查询所需列和操作
• 使用尽可能小的数据类型

优化 SQL

• 仅查询所需列和操作
• 使用尽可能小的数据类型
• 采用星型架构

优化 SQL

• 仅查询所需列和操作
• 使用尽可能小的数据类型
• 采用星型架构
• 用系统视图监控查询使用情况

SELECT *
FROM sys.dm_exec_requests;

优化笔记本

• 利用 Spark 历史服务器

优化笔记本

• 利用 Spark 历史服务器
• 不用时停止活动的 Spark 会话

优化笔记本

• 利用 Spark 历史服务器
• 不用时停止活动的 Spark 会话
• 连接数据前，先在内存外减少数据量

优化数据流

• 尽量减少排序等高开销操作

优化数据流

• 尽量减少排序等高开销操作
• 查询折叠
  • 将处理下推到数据源

优化数据流

• 尽量减少排序等高开销操作
• 查询折叠
  • 将处理下推到数据源
• 分阶段（Staging）开/关
  • 小数据或简单转换：关闭
  • 大数据或复杂转换：开启

垂直扩展（Scale Up）

• 提升 SKU 规格
• 更高 SKU = 更强算力

v

垂直扩展（Scale Up）

示例：从 F64（8 个 v-core）扩展到 F128（16 个 v-core）

水平扩展（Scale Out）

• 将部分项目移至其他 Fabric 容量
• 隔离工作负载
  • 生产 vs 非生产
  • 业务分区，例如高管报表单独容量

水平扩展（Scale Out）

Passons à la pratique !

使用 Microsoft Fabric 进行数据转换与分析