Выбор модели: регрессионные модели

Практика вопросов интервью по машинному обучению на Python

Lisa Stuart

Data Scientist

Мультиколлинеарность

• Высокая корреляция независимых переменных
• Оценённые коэффициенты регрессии
  • Изменение ЗП, объясняемое НП
  • При фиксированных остальных переменных

¹ https://eigenblogger.com/2010/03/26/post1426/

Последствия мультиколлинеарности

• Занижение коэффициентов
• Занижение p-значений
• Нестабильная дисперсия
• Переобучение
• Снижение статистической значимости из-за роста стандартной ошибки
• Истинная связь с целевой переменной неясна

Методы борьбы с мультиколлинеарностью

• Матрица корреляций
• Тепловая карта корреляций
• Вычисление фактора инфляции дисперсии (VIF)
• Введение штрафов (Ridge, Lasso)
• PCA

Матрица корреляций и тепловая карта

Фактор инфляции дисперсии

Значение VIF	Мультиколлинеарность
<= 1	нет
> 1	есть, но допустима
> 5	есть, требует устранения

Функции

Функция/метод	возвращает
sklearn.linear_model.LinearRegression	линейную регрессию
data.corr()	матрицу корреляций
sns.heatmap(corr)	тепловую карту корреляций
mod.coef_	оценённые коэффициенты модели
mean_squared_error(y_test, y_pred)	MSE
r2_score(y_test, y_pred)	коэффициент R-квадрат
df.columns	названия столбцов

Давайте потренируемся!

Практика вопросов интервью по машинному обучению на Python