Оценка качества модели

Промежуточная регрессия в R

Richie Cotton

Data Evangelist at DataCamp

Метрики качества модели

Коэффициент детерминации (R-квадрат): насколько точно линия регрессии описывает наблюдаемые значения.
- Чем больше, тем лучше.
Остаточная стандартная ошибка (RSE): типичный размер остатков.
- Чем меньше, тем лучше.

library(dplyr)
library(broom)

mdl_mass_vs_length %>% 
  glance() %>% 
  pull(r.squared)

0.8226

mdl_mass_vs_species %>% 
  glance() %>% 
  pull(r.squared)

0.7163

mdl_mass_vs_both %>% 
  glance() %>% 
  pull(r.squared)

0.9694

Больше объясняющих переменных увеличивает $R^2$.
Слишком много переменных приводит к переобучению.
Скорректированный коэффициент детерминации штрафует за избыточное число переменных.
$\bar{R ^ 2} = 1 - (1 - R ^ 2) \frac{n_{obs} - 1}{n_{obs} - n_{var} - 1}$
Штраф заметен, когда $R^2$ мал или $n_{var}$ составляет значительную долю от $n_{obs}$.
В glance() это элемент adj.r.squared.

library(dplyr)
library(broom)

mdl_mass_vs_length %>% 
  glance() %>% 
  select(r.squared, adj.r.squared)

  r.squared adj.r.squared
      <dbl>         <dbl>
1    0.8226        0.8212

mdl_mass_vs_species %>% 
  glance() %>% 
  select(r.squared, adj.r.squared)

  r.squared adj.r.squared
      <dbl>         <dbl>
1    0.7163        0.7072

mdl_mass_vs_both %>% 
  glance() %>% 
  select(r.squared, adj.r.squared)

  r.squared adj.r.squared
      <dbl>         <dbl>
1    0.9694        0.9682

library(dplyr)
library(broom)

mdl_mass_vs_length %>% 
  glance() %>% 
  pull(sigma)

152.1

mdl_mass_vs_species %>% 
  glance() %>% 
  pull(sigma)

313.6

mdl_mass_vs_both %>% 
  glance() %>% 
  pull(sigma)

103.4

Промежуточная регрессия в R