データクレンジング

データウェアハウスの基本概念

Aaren Stubberfield

Data Scientist

動画アジェンダ

• データ形式の見直し
• 住所のパース
• データ検証
• 重複排除

データ形式の整備

• 値を想定フォーマットに更新
  • 日付
  • 選択肢名
  • 大文字・小文字
• 出力を一貫した形式にします

タクシーデータの例

住所のパース

• 住所を要素に分割
• 検証ツールを利用可能

住所
1234 S Normal St, Cleveland, OH 44102

住所	市区町村	州	郵便番号
1234 S Normal St	Cleveland	OH	44102

データ検証

• 範囲チェック
  • 値は想定範囲内か？
  • 例: 人の年齢

• 型チェック
  • 値は適切なデータ型か？
  • 例: 年齢を文字列ではなく数値で保存

重複行の排除

• 重複行を除去するプロセスです

データガバナンス

練習しましょう！

データウェアハウスの基本概念