サンプル外の誤差指標

Rで学ぶ caret を使った Machine Learning

Zach Mayer

Data Scientist at DataRobot and co-author of caret

サンプル外誤差

  • 過学習せず汎化するモデルが必要
  • 新しいデータでも良い性能か？
  • 新しいデータ（テストセット）で評価
    • 機械学習の重要な考え方
    • サンプル内検証は過学習をほぼ確実に招く
  • caret と本コースの主目標：過学習しないこと
Rで学ぶ caret を使った Machine Learning

例：サンプル外 RMSE

# mtcars にモデルを当てはめる
data(mtcars)
model <- lm(mpg ~ hp, mtcars[1:20, ])

# サンプル外で予測
predicted <- predict(
  model, mtcars[21:32, ], type = "response"
)

# 誤差を評価
actual <- mtcars[21:32, "mpg"]
sqrt(mean((predicted - actual) ^ 2))

5.507236
Rで学ぶ caret を使った Machine Learning

サンプル内 RMSE と比較

# 全データでモデルを当てはめる
model2 <- lm(mpg ~ hp, mtcars)

# サンプル内で予測
predicted2 <- predict(
  model, mtcars, type = "response"
)

# 誤差を評価
actual2 <- mtcars[, "mpg"]
sqrt(mean((predicted2 - actual2) ^ 2))

3.74

サンプル外 RMSE 5.5 と比較。

Rで学ぶ caret を使った Machine Learning

演習に進みましょう！

Rで学ぶ caret を使った Machine Learning

Preparing Video For Download...