モデル選択：回帰モデル

Pythonで学ぶMachine Learning面接対策

Lisa Stuart

Data Scientist

多重共線性

• 説明変数間の高い相関
• 回帰係数の推定
  • 他の変数を一定としたときの目的変数の変化量
  • 他の変数を固定

¹ https://eigenblogger.com/2010/03/26/post1426/

多重共線性の影響

• 係数の縮小
• p値の縮小
• 分散の不安定化
• 過学習
• 標準誤差の増大による有意性の低下
• 目的変数との真の関係が不明瞭

多重共線性への対処法

• 相関行列
• 相関のヒートマップ
• 分散拡大要因（VIF）の算出
• 罰則項の導入（Ridge, Lasso）
• PCA

相関行列 vs ヒートマップ

分散拡大要因（VIF）

VIF 値	多重共線性
<= 1	なし
> 1	あり（無視可）
> 5	あり（対処が必要）

関数

関数/メソッド	返り値
sklearn.linear_model.LinearRegression	線形回帰
data.corr()	相関行列
sns.heatmap(corr)	相関のヒートマップ
mod.coef_	推定係数
mean_squared_error(y_test, y_pred)	MSE
r2_score(y_test, y_pred)	決定係数 (R²)
df.columns	列名

演習に進みましょう！

Pythonで学ぶMachine Learning面接対策