データ品質の用語と概念

データ品質入門

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

データ品質の定義

• データ品質: データが目的に適合している度合いの測定
• 良いデータ品質 = データへの信頼
  • より良い意思決定
  • より良い業務プロセス
• 良いデータ品質はしばしば前提とされる
• 目的適合性を確保するため、測定と監視が必要

データ品質の次元の定義

データ品質の次元: データ品質の特性を測る指標

• 目的適合性を定量化するために活用
  • 完全性
  • 妥当性
  • 一意性
  • 一貫性
  • 適時性
  • 正確性

データ品質の次元としての完全性

完全性:

• データセット単位: 期待される全レコードが存在する度合い
• データ要素単位: 期待時に値が入力されている度合い
• 不完全なデータによる業務上の問題:
  • 数値の偏り
  • 顧客への影響

完全性の例

すべてのレコードで CustomerName 欄を必須とする。

データ品質の次元としての妥当性

妥当性: データ要素の値が有効である度合いを測定

• 事業コンテキストが必要
• 有効値のリストまたは基準を定義
• 妥当性の数値測定 = 有効件数/総件数

妥当性の例

• CustomerBirthDate は過去日付であること。
• CustomerAccountType は Loan または Deposit のいずれか。
• LatestAccountOpenDate は過去日付であること。

データ品質の次元としての一意性

一意性: データセット内のレコードが重複していない度合い

• 一意レコードの判定基準は事業コンテキストに依存
• 誤り特定のため、1列または複数列で重複を確認する必要がある場合がある

一意性の例

すべてのレコードで CustomerID と CustomerName は一意でなければならない。

演習に進みましょう！

データ品質入門