資料品質術語與概念

Data Quality 入門

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

定義資料品質

• 資料品質： 衡量資料是否符合用途的程度
• 資料品質好＝能信任資料
  • 更好的商業決策
  • 更完善的業務流程
• 常被假設資料品質是好的
• 需要量測並監控資料品質，確保資料可用。

定義資料品質面向

資料品質面向： 衡量資料品質特定屬性的指標

• 以資料品質面向量化資料的適用程度。
  • 完整性
  • 有效性
  • 唯一性
  • 一致性
  • 即時性
  • 準確性

作為資料品質面向的完整性

完整性：

• 資料集層級：衡量資料集中所有預期紀錄是否齊全。
• 資料欄位層級：衡量在需要時，所有紀錄是否都有填入資料。
• 不完整資料可能造成的商業問題：
  • 數字可能偏誤
  • 客戶可能受影響

完整性範例

所有紀錄的 CustomerName 欄位都必須有值。

作為資料品質面向的有效性

有效性： 衡量某資料欄位中的值是否有效的程度

• 需要商業脈絡
• 定義有效值的清單或判準
• 有效性數值＝有效筆數／總筆數

有效性範例

• CustomerBirthDate 的值必須是過去的日期。
• CustomerAccountType 的值必須為 Loan 或 Deposit。
• LatestAccountOpenDate 的值必須是過去的日期。

作為資料品質面向的唯一性

唯一性： 衡量資料集中的紀錄未被重複的程度

• 需以商業脈絡定義判斷唯一紀錄的標準
• 可能需檢查一或多個欄位來找出重複以辨識錯誤

唯一性範例

所有紀錄的 CustomerID 與 CustomerName 必須唯一。

一起來練習吧！

Data Quality 入門