模型选择：回归模型

用 Python 练习机器学习面试题

Lisa Stuart

Data Scientist

多重共线性

• 自变量高度相关
• 回归系数估计
  • IV 解释的 DV 变化
  • 其他变量保持不变

¹ https://eigenblogger.com/2010/03/26/post1426/

多重共线性的影响

• 系数缩小
• p 值降低
• 方差不稳定
• 过拟合
• 标准误增大导致显著性下降
• 与目标变量的真实关系不清

解决多重共线性的技术

• 相关矩阵
• 相关性热力图
• 计算方差膨胀因子（VIF）
• 引入惩罚项（Ridge、Lasso）
• PCA

相关矩阵 vs 热力图

方差膨胀因子（VIF）

VIF 值	多重共线性
<= 1	否
> 1	是，但可忽略
> 5	是，需处理

函数

函数/方法	返回
sklearn.linear_model.LinearRegression	线性回归
data.corr()	相关矩阵
sns.heatmap(corr)	相关性热力图
mod.coef_	估计系数
mean_squared_error(y_test, y_pred)	MSE
r2_score(y_test, y_pred)	R² 分数
df.columns	列名

Vamos praticar!

用 Python 练习机器学习面试题