Penalaan hiperparameter

Pemodelan dengan tidymodels di R

David Svancer

Data Scientist

Hiperparameter

Parameter model yang nilainya ditetapkan sebelum pelatihan dan mengontrol kompleksitas model

parsnip decision tree

cost_complexity
- Memberi penalti pada banyaknya node terminal
tree_depth
- Jalur terpanjang dari akar ke node terminal
min_n
- Minimal jumlah data dalam node untuk pemisahan lanjutan

Wilayah persegi panjang model decision tree

Nilai hiperparameter default

Fungsi decision_tree() menetapkan nilai hiperparameter default

cost_complexity disetel ke 0.01
tree_depth disetel ke 30
min_n disetel ke 20

Ini mungkin bukan nilai terbaik untuk semua dataset

Penalaan hiperparameter
- Proses menggunakan cross validation untuk menemukan set nilai hiperparameter optimal

dt_model <- decision_tree() %>% 
  set_engine('rpart') %>% 
  set_mode('classification')

Melabeli hiperparameter untuk tuning

Fungsi tune() dari paket tune

Untuk memberi label hiperparameter agar dituning, setel sama dengan tune() dalam spesifikasi model parsnip
Membuat objek model dengan parameter tuning
- Memberi tahu fungsi lain bahwa parameter ini perlu dioptimalkan

dt_tune_model <- decision_tree(cost_complexity = tune(),
                               tree_depth = tune(),
                               min_n = tune()) %>% 
  set_engine('rpart') %>% 
  set_mode('classification')


dt_tune_model

Decision Tree Model Specification (classification)

Main Arguments:
  cost_complexity = tune()
  tree_depth = tune()
  min_n = tune()

Computational engine: rpart

Membuat workflow untuk tuning

Objek workflow mudah diperbarui

leads_wkfl sebelumnya
- Langkah rekayasa fitur untuk data lead scoring dan model decision tree dengan hiperparameter default
Berikan leads_wkfl ke update_model() dan sediakan model decision tree baru dengan parameter tuning

leads_tune_wkfl <- leads_wkfl %>% 

  update_model(dt_tune_model)


leads_tune_wkfl

== Workflow ===============
Preprocessor: Recipe
Model: decision_tree()
-- Preprocessor -----------
3 Recipe Steps
* step_corr()
* step_normalize()
* step_dummy()
-- Model ------------------
Decision Tree Model Specification (classification)
Main Arguments: cost_complexity = tune()
                tree_depth = tune()
                min_n = tune()
Computational engine: rpart

Pencarian grid

Metode paling umum untuk menala hiperparameter

Buat grid kombinasi unik nilai hiperparameter
- Untuk tiap kombinasi, gunakan cross validation untuk mengestimasi kinerja model
Pilih kombinasi dengan kinerja terbaik

cost_complexity	tree_depth	min_n
0.001	20	35
0.001	20	15
0.001	35	35
0.001	35	15
0.2	20	35
...	...	...

Mengidentifikasi hiperparameter

Fungsi parameters() dari paket dials

Menerima objek model parsnip
Mengembalikan tibble berisi hiperparameter yang diberi label tune(), jika ada
- Digunakan untuk membuat grid tuning dengan paket dials

parameters(dt_tune_model)

Collection of 3 parameters for tuning

  identifier            type     object
cost_complexity  cost_complexity nparam[+]
tree_depth       tree_depth      nparam[+]
min_n            min_n           nparam[+]

Grid acak

Membangkitkan kombinasi acak

Metode ini cenderung lebih berpeluang menemukan nilai hiperparameter optimal

Fungsi grid_random()

Argumen pertama adalah hasil fungsi parameters()
size menetapkan jumlah kombinasi acak yang dibangkitkan
- Jalankan set.seed() sebelum grid_random() agar replikabel

set.seed(214)
grid_random(parameters(dt_tune_model),

            size = 5)

# A tibble: 5 x 3
  cost_complexity  tree_depth min_n
            <dbl>      <int>  <int>
1    0.0000000758        14     39
2    0.0243               5     34
3    0.00000443          11      8
4    0.000000600          3      5
5    0.00380              5     36

Menyimpan grid tuning

Langkah pertama dalam penalaan hiperparameter

Buat dan simpan grid tuning
dt_grid berisi 5 kombinasi acak nilai hiperparameter

set.seed(214)
dt_grid <- grid_random(parameters(dt_tune_model),
                       size = 5)


dt_grid

# A tibble: 5 x 3
  cost_complexity  tree_depth min_n
            <dbl>      <int>  <int>
1    0.0000000758        14     39
2    0.0243               5     34
3    0.00000443          11      8
4    0.000000600          3      5
5    0.00380              5     36

Penalaan hiperparameter dengan cross validation

Fungsi tune_grid() melakukan penalaan hiperparameter

Menerima argumen berikut:

workflow atau model parsnip
Objek cross validation, resamples
Grid tuning, grid
Fungsi metrics opsional

Mengembalikan tibble hasil

.metrics
- Kolom daftar berisi hasil tiap fold

dt_tuning <- leads_tune_wkfl %>%

             tune_grid(resamples = leads_folds,

                       grid = dt_grid,

                       metrics = leads_metrics)

dt_tuning

# Tuning results
# 10-fold cross-validation using stratification 
# A tibble: 10 x 4
   splits             id       .metrics         ..
   <list>            <chr>      <list>          ..
<split [896/100]>   Fold01   <tibble [15 x 7]>  ..
................    ......   ...............    ..
<split [897/99]>    Fold09   <tibble [15 x 7]>  ..
<split [897/99]>    Fold10   <tibble [15 x 7]>  ..

Menjelajahi hasil tuning

Fungsi collect_metrics() secara default memberi ringkasan hasil

Rata-rata nilai metrik terestimasi di semua fold per kombinasi

dt_tuning %>% 
  collect_metrics()

# A tibble: 15 x 9
   cost_complexity tree_depth min_n .metric .estimator  mean     n std_err .config
             <dbl>      <int> <int> <chr>   <chr>      <dbl> <int>   <dbl> <chr>  
 1    0.0000000758         14    39 roc_auc binary     0.827    10 0.0147  Model1 
 2    0.0000000758         14    39 sens    binary     0.728    10 0.0277  Model1 
 3    0.0000000758         14    39 spec    binary     0.865    10 0.0156  Model1 
 4    0.0243                5    34 roc_auc binary     0.823    10 0.0147  Model2 
 .    ......               ..    .. ....    ......     .....    .. .....   ......
14    0.00380               5    36 sens    binary     0.747    10 0.0209  Model5 
15    0.00380               5    36 spec    binary     0.858    10 0.0161  Model5

Ayo mulai menala!

Pemodelan dengan tidymodels di R