探索的データ分析（EDA）とは？

Power BIで学ぶ探索的データ分析（EDA）

Jacob H. Marquez

Data Scientist at Microsoft

探索的データ分析（EDA）とは？

「統計グラフィックスなどの可視化を用いて、データの主な特性を要約するための分析手法。」

1 https://en.wikipedia.org/wiki/Exploratory_data_analysis
Power BIで学ぶ探索的データ分析（EDA）

EDAの6ステップ

  1. データ構造の把握

  2. 欠損値の特定

  3. 記述統計と分布でデータを記述

  4. 外れ値の特定

  5. 変数間の関係の検討と定量化

  6. 仮説の形成

Power BIで学ぶ探索的データ分析（EDA）

EDAの6ステップ

  1. データ構造の把握

  2. 欠損値の特定

  3. 記述統計と分布でデータを記述

  4. 外れ値の特定

  5. 変数間の関係の検討と定量化

  6. 仮説の形成

Power BIで学ぶ探索的データ分析（EDA）

1. データ構造の把握

連続型

無限に近い値を取り得る数値変数

  • 宇宙の星の数
  • クリック率
  • 2都市間の距離

カテゴリ型

通常はテキストで、2つ以上のグループを持つ非数値変数

  • 住宅タイプ
  • 国
  • 会社
Power BIで学ぶ探索的データ分析（EDA）

2. 欠損値の特定

 

ランダム欠損（MAR）

3都市（シアトル、ニューヨーク、パリ）の3行ずつがまとまった9×4の行列。30セルの降雨量（インチ）の値があり、6セルが3都市全体でランダムに空白。

 

非ランダム欠損（MNAR）

同じ9×4の行列。30セルの降雨量のうち、4セルがシアトルにのみランダムに空白。

Power BIで学ぶ探索的データ分析（EDA）

2. 欠損値への対応

 

同じ9×4の行列。30セルの降雨量のうち、4セルがシアトルにのみランダムに空白。

同じ9×4の行列だが最上段を削除。空白セルを削除することを表す。

同じ9×4の行列で最上段に値が入り、空白セルを中央値で補完することを表す。

Power BIで学ぶ探索的データ分析（EDA）

3. データの記述

  • 最小値
  • 最大値
  • 平均：合計を観測数で割る
  • 中央値：範囲の中央の値
  • 標準偏差：各データ点の平均からの平均的なずれ
Power BIで学ぶ探索的データ分析（EDA）

3. 分布でデータを記述

人の身長のヒストグラム。x軸に身長、y軸にその観測数。

  • 中央値と平均が等しい
  • 対称な曲線
Power BIで学ぶ探索的データ分析（EDA）

3. 分布でデータを記述

世帯収入のヒストグラム。x軸に収入、y軸に観測数。左が広く、右に行くほど狭い。

  • 中央値 < 平均
  • 右裾が長い（右に歪む）

オンライン利用時間のヒストグラム。x軸に時間、y軸に観測数。左が狭く、右に行くほど広い。

  • 中央値 > 平均
  • 左裾が長い（左に歪む）
Power BIで学ぶ探索的データ分析（EDA）

データセット：Airbnbリスティング

Airbnbデータセットの図。listing_id、host_id、host_since（日付列）、city、priceの5列。

Power BIで学ぶ探索的データ分析（EDA）

練習しましょう！

Power BIで学ぶ探索的データ分析（EDA）

Preparing Video For Download...