データプロファイル

データ品質入門

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

データプロファイリングとは？

データプロファイリング: データセットに統計を実行し、データや項目間の依存関係を把握する活動

例:

  • データセットのレコード数は？
  • 特定項目の最小値・最大値は？
  • 特定項目が埋まっているレコード数は？
  • 列Aが埋まっているとき、他にどの列が埋まっているか？

データプロファイルの例、最小・最大、NULL数

データ品質入門

データプロファイリングの重要性

データプロファイリング:

  • 既知を確認
  • 未知を発見
  • データ品質の問題を特定
  • より良いデータ品質ルール作成を支援

データ表に懐中電灯を当てる図

データ品質入門

データプロファイルの見た目

![データ表]

データ品質入門

顧客IDのデータプロファイル

データプロファイルの例

データ品質入門

顧客名のデータプロファイル

データプロファイルの例

データ品質入門

顧客生年月日のデータプロファイル

データプロファイルの例

データ品質入門

顧客口座種別のデータプロファイル

データプロファイルの例

データ品質入門

データ品質でのデータプロファイル活用

データプロファイルの例

  • CustomerID は11桁の数値であること。
  • CustomerFirstName は1〜20文字の文字列であること。
  • CustomerLastName は1〜30文字の文字列であること。

データプロファイルの例

  • CustomerBirthDate は MM/DD/YYYY 形式、かつ 01/01/1900〜99/99/9999 の範囲。
  • CustomerAccountType は Loan、Deposit、Loan and Deposit、または Credit Card。
データ品質入門

練習してみましょう！

データ品質入門

Preparing Video For Download...