通过刷新保持语义模型最新

使用 Microsoft Fabric 进行数据摄取与语义模型

Fiodar Sazanavets

Senior Software Engineer

选择处理的数据量

三种刷新模式:整表重载、仅重载最新分区、模型不复制数据而指向最新表版本

  • 完全刷新: 重载整个 Import 表,例如 20 行货币对照表
  • 增量刷新: 重载最近的分区,例如 1.2M 行 Orders 的近 7 天
  • Direct Lake: 不复制;默认自动重指向最新 Delta 版本
使用 Microsoft Fabric 进行数据摄取与语义模型

选择何时开始刷新

  • 计划: 按设定时间运行,匹配源更新频率
    • DimCurrency:每周完全刷新
  • 按需: 修正后手动启动
  • 管道: 上游活动成功后启动
    • Orders:夜间加载后增量刷新

三种刷新触发:按设定时间的计划刷新、源修复后的按需刷新、成功加载后的管道刷新

使用 Microsoft Fabric 进行数据摄取与语义模型

增量刷新分离历史与变更

设置 示例 作用
RangeStart / RangeEnd 日期/时间参数 按日期过滤源查询
历史期限 5 年 保留的行;更早的行会移除
刷新期限 7 天 每次刷新重载的近期行
分区 每月一个 表的时间切片

 

  • 首次刷新加载完整历史;后续仅重载刷新期限
使用 Microsoft Fabric 进行数据摄取与语义模型

源加载成功后刷新

脚本活动的添加菜单,搜索 Refresh,指针停在 Semantic model refresh 上

  • 源加载活动(常为 Script 活动)写入当前数据
  • 绿色箭头添加下一个活动
  • 添加 Semantic model refresh 活动
  • 依赖 On success,在加载成功后触发
使用 Microsoft Fabric 进行数据摄取与语义模型

配置语义模型刷新

  • 连接、工作区和语义模型用于定位目标
  • Table(s) 与 Select partitions 将刷新限定为所选表或分区

语义模型刷新活动的设置选项卡,含 Connection、Workspace、Semantic model SM_ModelRefreshLab,Table(s) 为空并带有 Select partitions

使用 Microsoft Fabric 进行数据摄取与语义模型

语义模型刷新历史

语义模型功能区:Queries,下拉 Refresh,菜单中高亮 Refresh history

  • 记录过往刷新
  • 用于审计与排障
  • 打开路径: Queries > Refresh > Refresh history
使用 Microsoft Fabric 进行数据摄取与语义模型

理解刷新历史字段

刷新历史对话框的 Direct Lake 选项卡,列出一次 Direct Lake 刷新,含开始与结束时间及 Completed 状态

  • 选项卡区分刷新类别
  • Type、Start、End:刷新路径与时间
  • Status、Message:结果与错误信息
使用 Microsoft Fabric 进行数据摄取与语义模型

查看刷新详情

展开的 Direct Lake 刷新详情,显示请求 ID 与时间

  • 在条目旁选择 Show
  • Request ID 标识该操作
  • Time 标识记录的事件
使用 Microsoft Fabric 进行数据摄取与语义模型

让我们一起练习吧!

使用 Microsoft Fabric 进行数据摄取与语义模型

Preparing Video For Download...