Prestaties van cross-validation meten

Machine Learning in de tidyverse

Dmitriy (Dima) Gorenshteyn

Lead Data Scientist, Memorial Sloan Kettering Cancer Center

Prestaties meten

Machine Learning in de tidyverse

Prestaties meten - Waarheid

Machine Learning in de tidyverse

Prestaties meten - Waarheid

Machine Learning in de tidyverse

Prestaties meten - Waarheid

Machine Learning in de tidyverse

Prestaties meten - Voorspelling

Machine Learning in de tidyverse

Prestaties meten - Voorspelling

Machine Learning in de tidyverse

Prestaties meten - Voorspelling

Machine Learning in de tidyverse

Prestaties meten

Machine Learning in de tidyverse

Mean Absolute Error

Machine Learning in de tidyverse

Ingrediënten voor prestatiemeting

1) Werkelijke life_expectancy-waarden
2) Voorspelde life_expectancy-waarden
3) Een maatstaf om 1) en 2) te vergelijken

Machine Learning in de tidyverse

1) Haal de werkelijke waarden op

cv_prep_lm <- cv_models_lm %>% 
  mutate(validate_actual = map(validate, ~.x$life_expectancy))
Machine Learning in de tidyverse

De functies predict() en map2()

predict(model, data)
map2(.x = model, .y = data, .f = ~predict(.x, .y))
Machine Learning in de tidyverse

2) Bereid de voorspelde waarden voor

cv_prep_lm <- cv_eval_lm %>% 
  mutate(validate_actual = map(validate, ~.x$life_expectancy),
         validate_predicted = map2(model, validate, ~predict(.x, .y)))
Machine Learning in de tidyverse

3) MAE berekenen

library(Metrics)
cv_eval_lm <- cv_prep_lm %>% 
  mutate(validate_mae = map2_dbl(validate_actual, validate_predicted, 
                                ~mae(actual = .x, predicted = .y)))

cv_eval_lm
#  5-fold cross-validation 
# A tibble: 5 x 8
splits       id    train validate model validate_a. validate_p validate_mae
<S3: rsplit> Fold1 <tib. <tib.   <S3.   <dbl.       <dbl.       1.47
<S3: rsplit> Fold2 <tib. <tib.   <S3.   <dbl.       <dbl.       1.51
<S3: rsplit> Fold3 <tib. <tib.   <S3.   <dbl.       <dbl.       1.44
<S3: rsplit> Fold4 <tib. <tib.   <S3.   <dbl.       <dbl.       1.48
<S3: rsplit> Fold5 <tib. <tib.   <S3.   <dbl.       <dbl.       1.68
Machine Learning in de tidyverse

Laten we oefenen!

Machine Learning in de tidyverse

Preparing Video For Download...