分布と外れ値

Power BIで学ぶ探索的データ分析（EDA）

Jacob H. Marquez

Data Scientist at Microsoft

分布とは？

定義: 変数の取りうる全ての値とそれに対応する頻度の集合。

Power BIで学ぶ探索的データ分析（EDA）

分布とは？

連続型

年齢 頻度
18 7
19 11
20 13
21 19
22 12
Power BIで学ぶ探索的データ分析（EDA）

分布とは？

連続型

年齢 頻度
18 7
19 11
20 13
21 19
22 12

カテゴリ型

髪の色 頻度
ブロンド 30
ブラウン 50
ブラック 40
レッド 20
グレー 20
Power BIで学ぶ探索的データ分析（EDA）

ヒストグラムとは？

人の身長のヒストグラム。x軸に身長の値、y軸に観測数を示す。中央に大きな山があり、両端に細い裾野がある。

Power BIで学ぶ探索的データ分析（EDA）

ヒストグラムとは？ - ビン

100ビンのヒストグラム

人の身長のヒストグラム。x軸に身長の値、y軸に観測数を示す。100ビンでより滑らかで詳細な表示になっている。

20ビンのヒストグラム

人の身長のヒストグラム。x軸に身長の値、y軸に観測数を示す。ビン数が少なく、より粗い形状になっている。

Power BIで学ぶ探索的データ分析（EDA）

ヒストグラムの読み方 - 中心と歪み

人の身長のヒストグラム。x軸に身長の値、y軸に観測数を示す。中央に観測が集中し、両端に向かって少なくなっている。

正規分布

人の身長のヒストグラム。x軸に身長の値、y軸に観測数を示す。左側に観測が集中し、右に向かって細くなっている。

右歪み分布

Power BIで学ぶ探索的データ分析（EDA）

ヒストグラムの読み方 - 散らばり

標準偏差が大きい

人の身長のヒストグラム。x軸に身長の値、y軸に観測数を示す。中央に観測が集中し、両端に向かって少なくなっている。

標準偏差が小さい

人の身長のヒストグラム。x軸に身長の値、y軸に観測数を示す。標準偏差が小さく、細く尖った形状になっている。

Power BIで学ぶ探索的データ分析（EDA）

ヒストグラムの読み方 - パーセンタイル

人の身長のヒストグラム。x軸に身長の値、y軸に観測数を示す。中央から左側にかけて緑で強調された領域が第50パーセンタイルを示している。

Power BIで学ぶ探索的データ分析（EDA）

ヒストグラムの読み方 - 第25・第75パーセンタイル

人の身長のヒストグラム。x軸に身長の値、y軸に観測数を示す。第25パーセンタイルより左と第75パーセンタイルより右の2つの領域が緑で強調されている。

Power BIで学ぶ探索的データ分析（EDA）

ヒストグラムの読み方 - 四分位範囲

人の身長のヒストグラム。x軸に身長の値、y軸に観測数を示す。第25パーセンタイルから第75パーセンタイルの範囲が緑で強調され、四分位範囲を示している。

Power BIで学ぶ探索的データ分析（EDA）

外れ値とは？

人の身長のヒストグラム。x軸に身長の値、y軸に観測数を示す。両端の領域が緑で強調され、外れ値の可能性がある箇所を示している。

Power BIで学ぶ探索的データ分析（EDA）

外れ値の検出

標準偏差を使用する

$lower = -3 * SD$

$upper = 3 * SD$

$$

外れ値の条件

$value < lower$ OR $value > upper$

四分位範囲（IQR）を使用する

$lower = 25percentile-(1.5 * IQR)$

$upper = 75percentile+(1.5 * IQR)$

$$

外れ値の条件

$value < lower$ OR $value > upper$

Power BIで学ぶ探索的データ分析（EDA）

外れ値への対処

  1. 観測値の削除
  2. 補完

ウィンザライゼーション

IF value < 5th percentile THEN value = 5th percentile

$$

IF value > 95th percentile THEN value = 95th percentile

Power BIで学ぶ探索的データ分析（EDA）

では、練習しましょう！

Power BIで学ぶ探索的データ分析（EDA）

Preparing Video For Download...