Măsuri de eroare în afara eșantionului

Machine Learning cu caret în R

Zach Mayer

Data Scientist at DataRobot and co-author of caret

Eroare în afara eșantionului

Dorim modele care nu supraadaptează și generalizează bine
Modelele performează bine pe date noi?
Testați modelele pe date noi sau pe un set de testare
- Principiu esențial al învățării automate
- Validarea în eșantion aproape garantează supraadaptarea
Obiectivul principal al caret și al acestui curs: evitați supraadaptarea

# Fit a model to the mtcars data
data(mtcars)
model <- lm(mpg ~ hp, mtcars[1:20, ])

# Predict out-of-sample
predicted <- predict(
  model, mtcars[21:32, ], type = "response"
)

# Evaluate error
actual <- mtcars[21:32, "mpg"]
sqrt(mean((predicted - actual) ^ 2))

5.507236

# Fit a model to the full dataset
model2 <- lm(mpg ~ hp, mtcars)

# Predict in-sample
predicted2 <- predict(
  model, mtcars, type = "response"
)

# Evaluate error
actual2 <- mtcars[, "mpg"]
sqrt(mean((predicted2 - actual2) ^ 2))

3.74

Comparați cu RMSE în afara eșantionului de 5,5.

Machine Learning cu caret în R