Strojenie hiperparametrów

Modelowanie z tidymodels w R

David Svancer

Data Scientist

Hiperparametry

Parametry modelu ustawiane przed treningiem, kontrolujące złożoność modelu

Drzewo decyzyjne parsnip

cost_complexity
- Penalizuje dużą liczbę węzłów końcowych
tree_depth
- Najdłuższa ścieżka od korzenia do węzła końcowego
min_n
- Minimalna liczba obserwacji w węźle wymagana do dalszego podziału

Prostokątne obszary modelu drzewa decyzyjnego

Domyślne wartości hiperparametrów

Funkcja decision_tree() ustawia domyślne wartości hiperparametrów

cost_complexity wynosi domyślnie 0.01
tree_depth wynosi domyślnie 30
min_n wynosi domyślnie 20

Mogą nie być optymalne dla wszystkich zbiorów danych

Strojenie hiperparametrów
- Proces wykorzystania walidacji krzyżowej do znalezienia optymalnych wartości hiperparametrów

dt_model <- decision_tree() %>% 
  set_engine('rpart') %>% 
  set_mode('classification')

Oznaczanie hiperparametrów do strojenia

Funkcja tune() z pakietu tune

Aby oznaczyć hiperparametry do strojenia, należy przypisać im tune() w specyfikacji modelu parsnip
Tworzy obiekt modelu z parametrami strojenia
- Informuje inne funkcje, że parametry wymagają optymalizacji

dt_tune_model <- decision_tree(cost_complexity = tune(),
                               tree_depth = tune(),
                               min_n = tune()) %>% 
  set_engine('rpart') %>% 
  set_mode('classification')


dt_tune_model

Decision Tree Model Specification (classification)

Main Arguments:
  cost_complexity = tune()
  tree_depth = tune()
  min_n = tune()

Computational engine: rpart

Tworzenie przepływu pracy do strojenia

Obiekty workflow można łatwo aktualizować

Poprzedni leads_wkfl
- Kroki inżynierii cech dla danych scoringowych i model drzewa decyzyjnego z domyślnymi hiperparametrami
Przekazać leads_wkfl do update_model() i podać nowy model drzewa decyzyjnego z parametrami strojenia

leads_tune_wkfl <- leads_wkfl %>% 

  update_model(dt_tune_model)


leads_tune_wkfl

== Workflow ===============
Preprocessor: Recipe
Model: decision_tree()
-- Preprocessor -----------
3 Recipe Steps
* step_corr()
* step_normalize()
* step_dummy()
-- Model ------------------
Decision Tree Model Specification (classification)
Main Arguments: cost_complexity = tune()
                tree_depth = tune()
                min_n = tune()
Computational engine: rpart

Przeszukiwanie siatki

Najczęstsza metoda strojenia hiperparametrów

Generowanie siatki unikalnych kombinacji wartości hiperparametrów
- Dla każdej kombinacji – ocena wydajności modelu metodą walidacji krzyżowej
Wybór najlepszej kombinacji

cost_complexity	tree_depth	min_n
0.001	20	35
0.001	20	15
0.001	35	35
0.001	35	15
0.2	20	35
...	...	...

Identyfikacja hiperparametrów

Funkcja parameters() z pakietu dials

Przyjmuje obiekt modelu parsnip
Zwraca tibble z hiperparametrami oznaczonymi funkcją tune(), jeśli takie istnieją
- Służy do generowania siatek strojenia za pomocą pakietu dials

parameters(dt_tune_model)

Collection of 3 parameters for tuning

  identifier            type     object
cost_complexity  cost_complexity nparam[+]
tree_depth       tree_depth      nparam[+]
min_n            min_n           nparam[+]

Losowa siatka

Generowanie losowych kombinacji

Ta metoda zwiększa szansę znalezienia optymalnych wartości hiperparametrów

Funkcja grid_random()

Pierwszy argument to wynik funkcji parameters()
size określa liczbę losowych kombinacji do wygenerowania
- Przed grid_random() należy wywołać set.seed() dla reprodukowalności

set.seed(214)
grid_random(parameters(dt_tune_model),

            size = 5)

# A tibble: 5 x 3
  cost_complexity  tree_depth min_n
            <dbl>      <int>  <int>
1    0.0000000758        14     39
2    0.0243               5     34
3    0.00000443          11      8
4    0.000000600          3      5
5    0.00380              5     36

Zapisywanie siatki strojenia

Pierwszy krok w strojeniu hiperparametrów

Tworzenie i zapisywanie siatki strojenia
dt_grid zawiera 5 losowych kombinacji wartości hiperparametrów

set.seed(214)
dt_grid <- grid_random(parameters(dt_tune_model),
                       size = 5)


dt_grid

# A tibble: 5 x 3
  cost_complexity  tree_depth min_n
            <dbl>      <int>  <int>
1    0.0000000758        14     39
2    0.0243               5     34
3    0.00000443          11      8
4    0.000000600          3      5
5    0.00380              5     36

Strojenie hiperparametrów z walidacją krzyżową

Funkcja tune_grid() wykonuje strojenie hiperparametrów

Przyjmuje następujące argumenty:

Obiekt workflow lub model parsnip
Obiekt walidacji krzyżowej, resamples
Siatka strojenia, grid
Opcjonalna funkcja metrics

Zwraca tibble z wynikami

.metrics
- Kolumna listy z wynikami dla każdego foldu

dt_tuning <- leads_tune_wkfl %>%

             tune_grid(resamples = leads_folds,

                       grid = dt_grid,

                       metrics = leads_metrics)

dt_tuning

# Tuning results
# 10-fold cross-validation using stratification 
# A tibble: 10 x 4
   splits             id       .metrics         ..
   <list>            <chr>      <list>          ..
<split [896/100]>   Fold01   <tibble [15 x 7]>  ..
................    ......   ...............    ..
<split [897/99]>    Fold09   <tibble [15 x 7]>  ..
<split [897/99]>    Fold10   <tibble [15 x 7]>  ..

Analiza wyników strojenia

Funkcja collect_metrics() domyślnie zwraca zagregowane wyniki

Uśrednione wartości metryk dla wszystkich foldów dla każdej kombinacji

dt_tuning %>% 
  collect_metrics()

# A tibble: 15 x 9
   cost_complexity tree_depth min_n .metric .estimator  mean     n std_err .config
             <dbl>      <int> <int> <chr>   <chr>      <dbl> <int>   <dbl> <chr>  
 1    0.0000000758         14    39 roc_auc binary     0.827    10 0.0147  Model1 
 2    0.0000000758         14    39 sens    binary     0.728    10 0.0277  Model1 
 3    0.0000000758         14    39 spec    binary     0.865    10 0.0156  Model1 
 4    0.0243                5    34 roc_auc binary     0.823    10 0.0147  Model2 
 .    ......               ..    .. ....    ......     .....    .. .....   ......
14    0.00380               5    36 sens    binary     0.747    10 0.0209  Model5 
15    0.00380               5    36 spec    binary     0.858    10 0.0161  Model5

Czas na strojenie!

Modelowanie z tidymodels w R