การวัดค่าความผิดพลาดนอกตัวอย่าง

Machine Learning ด้วย caret ใน R

Zach Mayer

Data Scientist at DataRobot and co-author of caret

ความผิดพลาดนอกตัวอย่าง

ต้องการโมเดลที่ไม่ overfit และ generalize ได้ดี
โมเดลทำงานได้ดีกับข้อมูลใหม่หรือไม่?
ทดสอบโมเดลกับข้อมูลใหม่ หรือชุดข้อมูลทดสอบ
- หลักการสำคัญของ machine learning
- การ validate ในตัวอย่างมักนำไปสู่ overfitting
เป้าหมายหลักของ caret และคอร์สนี้: หลีกเลี่ยง overfitting

# Fit a model to the mtcars data
data(mtcars)
model <- lm(mpg ~ hp, mtcars[1:20, ])

# Predict out-of-sample
predicted <- predict(
  model, mtcars[21:32, ], type = "response"
)

# Evaluate error
actual <- mtcars[21:32, "mpg"]
sqrt(mean((predicted - actual) ^ 2))

5.507236

# Fit a model to the full dataset
model2 <- lm(mpg ~ hp, mtcars)

# Predict in-sample
predicted2 <- predict(
  model, mtcars, type = "response"
)

# Evaluate error
actual2 <- mtcars[, "mpg"]
sqrt(mean((predicted2 - actual2) ^ 2))

3.74

เปรียบเทียบกับ RMSE นอกตัวอย่างที่ได้ 5.5

Machine Learning ด้วย caret ใน R