Automatizace modelovacího procesu

Modeling with tidymodels in R

David Svancer

Data Scientist

Zefektivnění procesu

Funkce last_fit()

Podporuje také klasifikační modely
Urychluje proces modelování
Natrénuje model na trénovacích datech a vytvoří predikce na testovací sadě

Podobně jako při použití fit() zahrnují první kroky:

Vytvoření objektu rozdělení dat pomocí rsample
Specifikaci modelu pomocí parsnip

leads_split <- initial_split(leads_df, 
                             strata = purchased)


logistic_model <- logistic_reg() %>% 
  set_engine('glm') %>% 
  set_mode('classification')

Trénování modelu a vyhodnocení metrik

Funkce last_fit()

Objekt modelu parsnip
Vzorec modelu
Objekt rozdělení dat

Funkce collect_metrics() vypočítá metriky na testovací sadě

Výchozí metriky: přesnost a ROC AUC

logistic_last_fit <- logistic_model %>% 
  last_fit(purchased ~ total_visits + total_time,
           split = leads_split)


logistic_last_fit %>% 
  collect_metrics()

# A tibble: 2 x 3
  .metric  .estimator .estimate
  <chr>      <chr>       <dbl>
1 accuracy   binary      0.759
2 roc_auc    binary      0.763

Získávání predikcí

collect_predictions()

Vytvoří tibble se všemi potřebnými sloupci pro funkce yardstick
Skutečné a predikované výsledky na testovacích datech
Sloupce s odhadovanými pravděpodobnostmi pro všechny kategorie výsledků

last_fit_results <- logistic_last_fit %>% 
  collect_predictions()

last_fit_results

# A tibble: 332 x 6
   id             .pred_yes .pred_no .row .pred_class purchased
   <chr>            <dbl>    <dbl>   <int>   <fct>      <fct>
 1 train/test split  0.134    0.866     2      no        no
 2 train/test split  0.729    0.271    17      yes       yes
 3 train/test split  0.133    0.867    21      no        no
 4 train/test split  0.0916   0.908    22      no        no
 5 train/test split  0.598    0.402    24      yes       yes
# ... with 327 more rows

Vlastní sady metrik

Funkce metric_set()

accuracy(), sens() a spec()
- Vyžadují argumenty truth a estimate
roc_auc()
- Vyžaduje truth a sloupec s odhadovanými pravděpodobnostmi

Funkce custom_metrics() bude potřebovat všechny tři, přičemž .pred_yes bude posledním argumentem

custom_metrics <- metric_set(accuracy, sens,
                             spec, roc_auc)

custom_metrics(last_fit_results,
               truth = purchased,
               estimate = .pred_class,
               .pred_yes)

# A tibble: 4 x 3
  .metric  .estimator .estimate
  <chr>    <chr>          <dbl>
1 accuracy binary         0.759
2 sens     binary         0.617
3 spec     binary         0.840
4 roc_auc  binary         0.763

Passons à la pratique !

Modeling with tidymodels in R