Các thước đo lỗi ngoài mẫu

Machine Learning với caret trong R

Zach Mayer

Data Scientist at DataRobot and co-author of caret

Lỗi ngoài mẫu

Cần mô hình không overfit và khái quát tốt
Mô hình có hoạt động tốt trên dữ liệu mới không?
Kiểm tra mô hình trên dữ liệu mới, hoặc tập kiểm tra
- Ý tưởng then chốt của học máy
- Xác thực trong mẫu gần như đảm bảo overfit
Mục tiêu chính của caret và khóa học này: không overfit

# Fit a model to the mtcars data
data(mtcars)
model <- lm(mpg ~ hp, mtcars[1:20, ])

# Predict out-of-sample
predicted <- predict(
  model, mtcars[21:32, ], type = "response"
)

# Evaluate error
actual <- mtcars[21:32, "mpg"]
sqrt(mean((predicted - actual) ^ 2))

5.507236

# Fit a model to the full dataset
model2 <- lm(mpg ~ hp, mtcars)

# Predict in-sample
predicted2 <- predict(
  model, mtcars, type = "response"
)

# Evaluate error
actual2 <- mtcars[, "mpg"]
sqrt(mean((predicted2 - actual2) ^ 2))

3.74

So với RMSE ngoài mẫu là 5,5.

Machine Learning với caret trong R