Метрики качества: регрессионные модели

Валидация моделей на Python

Kasey Jones

Data Scientist

Регрессионные модели

Регрессионные модели предсказывают непрерывные переменные: количество очков, галлонов или щенков!

Валидация моделей на Python

Средняя абсолютная ошибка (MAE)

 

$$ MAE = \frac{\sum_{i=1}^{n} |y_i - \hat{y}_i|}{n} $$

  • Простейшая и наиболее интуитивная метрика
  • Одинаково учитывает все точки
  • Нечувствительна к выбросам
Валидация моделей на Python

Среднеквадратичная ошибка (MSE)

 

$$ MSE = \frac{\sum_{i=1}^{n} (y_i - \hat{y}_i) ^2}{n} $$

  • Наиболее широко используемая метрика регрессии
  • Выбросы вносят больший вклад в общую ошибку
  • Нетипичные наблюдения могут существенно увеличить ошибку предсказания
Валидация моделей на Python

MAE vs. MSE

  • Метрики качества всегда зависят от конкретной задачи
  • MAE и MSE выражены в разных единицах и не подлежат сравнению
Валидация моделей на Python

Средняя абсолютная ошибка

rfr = RandomForestRegressor(n_estimators=500, random_state=1111)
rfr.fit(X_train, y_train)
test_predictions = rfr.predict(X_test)

sum(abs(y_test - test_predictions))/len(test_predictions)

9.99

from sklearn.metrics import mean_absolute_error
mean_absolute_error(y_test, test_predictions)

9.99
Валидация моделей на Python

Среднеквадратичная ошибка

sum(abs(y_test - test_predictions)**2)/len(test_predictions)

141.4

from sklearn.metrics import mean_squared_error
mean_squared_error(y_test, test_predictions)

141.4
Валидация моделей на Python

Точность на подмножестве данных

chocolate_preds = rfr.predict(X_test[X_test[:, 1] == 1])
mean_absolute_error(y_test[X_test[:, 1] == 1], chocolate_preds)

8.79

nonchocolate_preds = rfr.predict(X_test[X_test[:, 1] == 0])
mean_absolute_error(y_test[X_test[:, 1] == 0], nonchocolate_preds)

10.99
Валидация моделей на Python

Давайте потренируемся!

Валидация моделей на Python

Preparing Video For Download...