Selectarea celui mai bun model

Modelare cu tidymodels în R

David Svancer

Data Scientist

Rezultate detaliate ale ajustării

Funcția collect_metrics() oferă rezultate rezumate implicit

Utilizând summarize = FALSE se returnează toate rezultatele ajustării hiperparametrilor

dt_tuning %>% 
  collect_metrics(summarize = FALSE)

# A tibble: 150 x 8
 id     cost_complexity tree_depth min_n .metric  ...  .estimate  .config
<chr>        <dbl>         <int>   <int>  <chr>   ...    <dbl>      <chr>  
Fold01    0.0000000758     14       39    sens    ...     0.75     Model1 
Fold01    0.0000000758     14       39    spec    ...     0.906    Model1 
Fold01    0.0000000758     14       39    roc_auc ...     0.888    Model1 
.....     ............     ..       ..    ......  ...     .....    ......
Fold10    0.00380          5        36    roc_auc ...     0.789    Model5

Explorarea rezultatelor ajustării

Utilizând summarise = FALSE în collect_metrics() se returnează un tibble

Ușor de explorat cu dplyr
Explorarea ROC AUC
- Selectați metrica roc_auc
- Grupați după coloana id
- Calculați statistici rezumative pentru .estimate

dt_tuning %>% 
  collect_metrics(summarize = FALSE) %>% 

  filter(.metric == 'roc_auc') %>%

  group_by(id) %>%

  summarize(min_roc_auc = min(.estimate),
            median_roc_auc = median(.estimate),
            max_roc_auc = max(.estimate))

# A tibble: 10 x 4
 id     min_roc_auc  median_roc_auc  max_roc_auc
<chr>      <dbl>          <dbl>       <dbl>
Fold01     0.830          0.885       0.888
Fold02     0.857          0.882       0.885
Fold03     0.818          0.836       0.836
......     ....           ....        ....
Fold10     0.762          0.790       0.813

Vizualizarea celor mai bune modele

Funcția show_best()

Afișează primele n modele după valoarea medie a metric
Model1 este câștigătorul

dt_tuning %>% 
  show_best(metric = 'roc_auc', n = 5)

# A tibble: 5 x 9
cost_complexity  tree_depth  min_n  .metric .estimator   mean    n    std_err  .config
    <dbl>           <int>    <int>    <chr>   <chr>      <dbl>  <int>  <dbl>    <chr>
0.0000000758         14       39     roc_auc  binary     0.827   10   0.0147   Model1 
0.00380               5       36     roc_auc  binary     0.825   10   0.0146   Model5 
0.0243                5       34     roc_auc  binary     0.823   10   0.0147   Model2 
0.00000443           11       8      roc_auc  binary     0.816   10   0.00786  Model3 
0.000000600           3       5      roc_auc  binary     0.814   10   0.0131   Model4

Selectarea unui model

Funcția select_best()

Transmiteți rezultatele dt_tuning către select_best()
Selectați metric pentru evaluarea performanței

Returnează un tibble cu cel mai bun model și valorile hiperparametrilor

best_dt_model <- dt_tuning %>% 
  select_best(metric = 'roc_auc')


best_dt_model

# A tibble: 1 x 4
cost_complexity tree_depth  min_n  .config
     <dbl>         <int>    <int>   <chr>  
0.0000000758        14       39     Model1

Finalizarea workflow-ului

Funcția finalize_workflow() finalizează un workflow ce conține un obiect model cu parametri de ajustare

Transmiteți obiectul workflow
Un tibble cu un rând de valori finale ale hiperparametrilor
- Numele coloanelor trebuie să corespundă hiperparametrilor din modelul obiect

Returnează un obiect workflow cu hiperparametrii setați

final_leads_wkfl <- leads_tune_wkfl %>% 
  finalize_workflow(best_dt_model)

final_leads_wkfl

== Workflow ========================================
Preprocessor: Recipe
Model: decision_tree()
-- Preprocessor ------------------------------------
3 Recipe Steps
* step_corr()
* step_normalize()
* step_dummy()
-- Model --------------------------------------------
Decision Tree Model Specification (classification)
Main Arguments:
  cost_complexity = 0.0000000758
  tree_depth = 14
  min_n = 39
Computational engine: rpart

Antrenarea modelului final

Obiectul workflow finalizat poate fi antrenat cu last_fit() și obiectul de împărțire a datelor leads_split

În fundal

Seturi de date de antrenare și testare create
recipe antrenat și aplicat
Arborele de decizie ajustat antrenat cu întregul set de antrenare
Predicții și metrici pe datele de testare

leads_final_fit <- final_leads_wkfl %>% 
  last_fit(split = leads_split)


leads_final_fit %>% 
  collect_metrics()

# A tibble: 2 x 3
  .metric  .estimator .estimate
  <chr>    <chr>          <dbl>
1 accuracy binary         0.771
2 roc_auc  binary         0.793

Să exersăm!

Modelare cu tidymodels în R