数据质量术语与概念

数据质量入门

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

定义数据质量

• 数据质量： 衡量数据是否适用其用途的程度
• 数据质量好 = 可信任
  • 更优的业务决策
  • 更高效的业务流程
• 往往被假定为良好
• 需衡量并监控数据质量，确保可用。

定义数据质量维度

数据质量维度： 衡量数据质量某一属性的指标

• 使用数据质量维度量化数据的适用性。
  • 完整性
  • 有效性
  • 唯一性
  • 一致性
  • 时效性
  • 准确性

数据质量维度：完整性

完整性：

• 数据集层面：衡量所有预期记录是否齐全。
• 数据元素层面：衡量应填数据是否在所有记录中填充。
• 不完整数据的业务影响：
  • 指标可能偏差
  • 可能影响客户

完整性示例

所有记录的 CustomerName 字段必须有值。

数据质量维度：有效性

有效性： 衡量数据元素取值是否有效的程度

• 需要业务语境
• 定义有效值列表或判定标准
• 有效性数值 = 有效值数/总数

有效性示例

• CustomerBirthDate 必须为过去的日期。
• CustomerAccountType 只能为 Loan 或 Deposit。
• LatestAccountOpenDate 必须为过去的日期。

数据质量维度：唯一性

唯一性： 衡量数据集中记录未被重复的程度

• 需结合业务语境定义唯一记录判定标准
• 可能需在一列或多列中查重以识别错误

唯一性示例

所有记录的 CustomerID 和 CustomerName 必须唯一。

Passons à la pratique !

数据质量入门