模型選擇：迴歸模型

用 Python 練習機器學習面試題

Lisa Stuart

Data Scientist

多重共線性

• 自變數高度相關
• 估計的迴歸係數
  • IV 解釋 DV 的變動
  • 其他變數保持不變

¹ https://eigenblogger.com/2010/03/26/post1426/

多重共線性的影響

• 係數幅度變小
• p 值下降
• 變異不穩定
• 過度擬合
• 標準誤增大致顯著性下降
• 與目標變數的真實關係不清楚

處理多重共線性的技巧

• 相關係數矩陣
• 相關熱度圖
• 計算變異數膨脹因子（VIF）
• 加入懲罰項（Ridge、Lasso）
• PCA

相關矩陣 vs 熱度圖

變異數膨脹因子

VIF 值	多重共線性
<= 1	無
> 1	有，但可忽略
> 5	有，需要處理

函式

函式/方法	回傳
sklearn.linear_model.LinearRegression	Linear Regression
data.corr()	相關係數矩陣
sns.heatmap(corr)	相關熱度圖
mod.coef_	估計的模型係數
mean_squared_error(y_test, y_pred)	MSE
r2_score(y_test, y_pred)	R-squared 分數
df.columns	欄名

一起來練習吧！

用 Python 練習機器學習面試題