Felmått utanför urvalet

Maskininlärning med caret i R

Zach Mayer

Data Scientist at DataRobot and co-author of caret

Fel utanför urvalet

Vi vill ha modeller som inte överanpassar och som generaliserar väl
Presterar modellerna bra på ny data?
Testa modeller på ny data, eller ett testset
- En central insikt inom maskininlärning
- Validering på träningsdata leder nästan alltid till överanpassning
Huvudmålet med caret och den här kursen: undvik överanpassning

# Fit a model to the mtcars data
data(mtcars)
model <- lm(mpg ~ hp, mtcars[1:20, ])

# Predict out-of-sample
predicted <- predict(
  model, mtcars[21:32, ], type = "response"
)

# Evaluate error
actual <- mtcars[21:32, "mpg"]
sqrt(mean((predicted - actual) ^ 2))

5.507236

# Fit a model to the full dataset
model2 <- lm(mpg ~ hp, mtcars)

# Predict in-sample
predicted2 <- predict(
  model, mtcars, type = "response"
)

# Evaluate error
actual2 <- mtcars[, "mpg"]
sqrt(mean((predicted2 - actual2) ^ 2))

3.74

Jämför med RMSE utanför urvalet på 5,5.

Maskininlärning med caret i R