データベースと品質チェック

意思決定サイエンスをひも解く

Howard Friedman

Adjunct Professor at Columbia University

データソースのトリアージ

すべてのデータが同等に有用ではない

  • クリーニングが大変、または有効な特徴が乏しいことがある
  • 労力に見合わない場合もある

 

トリアージで素早く優先度付け

  • 時間やリソース投入前に妥当性を見極める

まずは入手性

  • 簡単にアクセス可能か、有料壁の裏か
  • 権限やセキュリティの制約はあるか
  • 早期に解決して無駄を防ぐ

triage.png

意思決定サイエンスをひも解く

主要チェック項目

コストを考慮

  • ライセンスやアクセス費用はあるか
  • ストレージや専用ツールの費用が必要か

有用性を評価

  • 目的の分析に必要な情報を含むか
  • 範囲、粒度、完全性、特徴の妥当性を確認

更新頻度を確認

  • リアルタイム予測にはリアルタイム/定期更新データが必要
  • 更新周期の不一致はデータを使えなくする

地理的解像度を評価

  • 必要な空間レベルと整合しているか
  • 郵便番号レベルが必要なら全国集計では不十分
意思決定サイエンスをひも解く

データ品質チェック

データ品質は重要

  • 悪いデータはモデルと意思決定を損なう
  • 「ゴミ入力ならゴミ出力」は意思決定科学の現実

GIGO.png

欠損に注意

  • 各列の欠損率
  • 収集上の問題を示すパターン

基本的な範囲チェック

  • 文脈に合わない値がないか
  • 例: age = 450、price = -$10
  • 重大な問題を早期に検知
意思決定サイエンスをひも解く

追加チェック

外れ値を確認

  • ヒストグラムや箱ひげ図で可視化する
  • 除外前に関係者と確認する

鮮度を評価

  • 分析に十分新しいデータか確認する
  • 変化の速い領域は頻繁な更新が必要

書式の一貫性を確保

  • 日付形式の不一致、表記ゆれ、列名の齟齬を確認
  • 解析前にクリーニングと標準化

QA.png

意思決定サイエンスをひも解く

Passons à la pratique !

意思決定サイエンスをひも解く

Preparing Video For Download...