数据剖析

数据质量入门

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

什么是数据剖析？

数据剖析： 对数据集运行统计以更好地理解数据与字段依赖

示例：

• 数据集中有多少记录？
• 某数据元素的最小值和最大值是多少？
• 多少记录填充了某数据元素？
• 当列 A 被填充时，还有哪些列也被填充？

数据剖析的重要性

数据剖析：

• 验证已知
• 揭示未知
• 识别数据质量问题
• 帮助编写更好的数据质量规则

数据剖析长什么样？

Customer ID 的数据剖析

Customer Name 的数据剖析

Customer Birth Data 的数据剖析

Customer Account Type 的数据剖析

在数据质量中使用数据剖析

• 所有 CustomerID 必须为 11 位数字。
• 所有 CustomerFirstName 必须为 1–20 个字符的文本。
• 所有 CustomerLastName 必须为 1–30 个字符的文本。

• 所有 CustomerBirthDate 必须为 MM/DD/YYYY 格式，且在 01/01/1900 到 99/99/9999 之间。
• 所有 CustomerAccountType 只能为 Loan、Deposit、Loan and Deposit 或 Credit Card。

Passons à la pratique !

数据质量入门