Оценка модели

Практика статистических вопросов для интервью на R

Zuzanna Chmielewska

Actuary

Перекрёстная проверка

Перекрёстная проверка

Перекрёстная проверка

Перекрёстная проверка

Перекрёстная проверка

Перекрёстная проверка

Перекрёстная проверка

Матрица ошибок

Матрица ошибок

Матрица ошибок

Матрица ошибок

Метрики классификации

$\text{accuracy} = \frac{TP+TN}{TP+TN+FP+FN}$

$\text{precision} = \frac{TP}{TP+FP}$

$\text{recall} = \frac{TP}{TP+FN}$

Метрики классификации

Точность (Precision)

Полнота (Recall)

Метрики регрессии

Метрики регрессии

Метрики регрессии

Среднеквадратичная ошибка (RMSE)

$RMSE = \sqrt{\frac{1}{n}\sum_{i=1}^{n} (y_i - \hat{y}_i)^2}$

Средняя абсолютная ошибка (MAE)

$MAE = \frac{1}{n} \sum_{i=1}^{n} |y_i - \hat{y}_i|$

Метрики регрессии

Среднеквадратичная ошибка (RMSE)

$RMSE = \sqrt{\frac{1}{n}\sum_{i=1}^{n} (y_i - \hat{y}_i)^2}$

• высокий штраф за большие ошибки

Средняя абсолютная ошибка (MAE)

$MAE = \frac{1}{n} \sum_{i=1}^{n} |y_i - \hat{y}_i|$

• простая интерпретация

Итоги

• метод валидационной выборки
• перекрёстная проверка
• матрица ошибок
• метрики классификации
• метрики регрессии

Давайте потренируемся!

Практика статистических вопросов для интервью на R