缓慢变化维度

使用 Microsoft Fabric 进行数据转换与分析

Luis Silva

Solution Architect - Data & AI

维度变更频率?

表格:描述从不变化的维度特征

使用 Microsoft Fabric 进行数据转换与分析

维度变更频率?

表格:描述从不变化与快速变化维度的特征

使用 Microsoft Fabric 进行数据转换与分析

维度变更频率?

表格:描述从不变化、快速变化与缓慢变化维度的特征

使用 Microsoft Fabric 进行数据转换与分析

缓慢变化维度

  • SCD 类型基于不同的数据变更管理方式:
    • 类型 0(不变)
    • 类型 1(覆盖)
    • 类型 2(保留全部历史)
    • 类型 3(保留有限历史)
    • 其他类型(4、5、6、7)
使用 Microsoft Fabric 进行数据转换与分析

SCD 类型 0:不变

  • 不接受变更
  • 丢弃数据变更
  • 数据始终反映原始状态
  • 适用于初始装载后不应再变更的数据

图示:维度表中的个人记录。当同一人的新记录有不同出生日期时,忽略该变更并保留原记录

使用 Microsoft Fabric 进行数据转换与分析

SCD 类型 1:覆盖

  • 用新数据覆盖现有记录
  • 数据始终反映最新值
  • 用于无需保留历史的补充属性,如电话号码

图示:维度表中的个人记录。当同一人的新记录有不同电话号码时,用新号码更新该记录

使用 Microsoft Fabric 进行数据转换与分析

SCD 类型 2:保留全部历史

  • 保留现有记录,并创建一条含新数据的新记录
  • 保留完整历史
  • 通过新增列记录变更生效日期

图示:维度表中的销售人员记录。当同一人的新记录有不同销售区域时,更新记录的开始和结束日期以标示有效期,并创建含新值的新记录。原记录标记为非当前,新记录标记为当前

使用 Microsoft Fabric 进行数据转换与分析

SCD 类型 3:保留部分历史

  • 仅保留一个或少数属性的历史
  • 每个此类属性新增一列,保存其上一版本
  • 适用于仅需有限历史(当前值与上一次值),且不增加行数的场景

图示:维度表中的销售人员记录。当同一人的新记录有不同职位时,更新记录以体现新职位和上一次职位,并标注变更日期

使用 Microsoft Fabric 进行数据转换与分析

其他 SCD 类型

  • 其他类型(4、5、6、7)是对 1、2、3 的变体
  • 因复杂性不常用
  • 最常用为类型 1 和 2,优先采用:
    • 若不需历史,用类型 1。
    • 若需历史,用类型 2。
使用 Microsoft Fabric 进行数据转换与分析

Passons à la pratique !

使用 Microsoft Fabric 进行数据转换与分析

Preparing Video For Download...