Вибір моделі: регресійні моделі

Практика співбесід з Machine Learning у Python

Lisa Stuart

Data Scientist

Мультиколінеарність

  • Висока кореляція незалежних змінних
  • Оцінені коефіцієнти регресії
    • Зміна ЗЗ, пояснена НЗ
    • За фіксованих інших змінних

Мультиколінеарність

1 https://eigenblogger.com/2010/03/26/post1426/
Практика співбесід з Machine Learning у Python

Наслідки мультиколінеарності

  • Зменшення коефіцієнтів
  • Зменшення p-значень
  • Нестійка дисперсія
  • Перепідганяння
  • Зниження статистичної значущості через зростання стандартної помилки
  • Справжній зв'язок із цільовою змінною неясний
Практика співбесід з Machine Learning у Python

Методи розв'язання мультиколінеарності

  • Матриця кореляцій
  • Теплова мапа кореляцій
  • Обчислити фактор інфляції дисперсії (VIF)
  • Додати штрафи (Ridge, Lasso)
  • PCA
Практика співбесід з Machine Learning у Python

Матриця кореляцій vs теплова мапа

Теплова мапа

Практика співбесід з Machine Learning у Python

Фактор інфляції дисперсії

Значення VIF Мультиколінеарність
<= 1 ні
> 1 так, можна ігнорувати
> 5 так, потрібно усувати
Практика співбесід з Machine Learning у Python

Функції

Функція/метод повертає
sklearn.linear_model.LinearRegression Linear Regression
data.corr() матрицю кореляцій
sns.heatmap(corr) теплову мапу кореляцій
mod.coef_ оцінені коефіцієнти моделі
mean_squared_error(y_test, y_pred) MSE
r2_score(y_test, y_pred) R-squared
df.columns назви стовпців
Практика співбесід з Machine Learning у Python

Давайте потренуємось!

Практика співбесід з Machine Learning у Python

Preparing Video For Download...