Grid search และ Random Search ด้วย H2O

การปรับ Hyperparameter ใน R

Dr. Shirin Elsinghorst

Senior Data Scientist

Hyperparameters ในโมเดล H2O

Hyperparameters สำหรับ Gradient Boosting:

?h2o.gbm

ntrees: จำนวนต้นไม้ ค่าเริ่มต้นคือ 50
max_depth: ความลึกสูงสุดของต้นไม้ ค่าเริ่มต้นคือ 5
min_rows: จำนวนการสังเกต (แบบถ่วงน้ำหนัก) น้อยที่สุดที่อนุญาตในใบ ค่าเริ่มต้นคือ 10
learn_rate: อัตราการเรียนรู้ (0.0 ถึง 1.0) ค่าเริ่มต้นคือ 0.1
learn_rate_annealing: ปรับลดอัตราการเรียนรู้ด้วยค่านี้หลังจากสร้างต้นไม้แต่ละต้น (เช่น 0.99 หรือ 0.999) ค่าเริ่มต้นคือ 1

เตรียมข้อมูลสำหรับการสร้างโมเดลด้วย H2O

แปลงข้อมูลเป็น H2O frame

seeds_data_hf <- as.h2o(seeds_data)

ระบุ features และ target

y <- "seed_type"
x <- setdiff(colnames(seeds_data_hf), y)

แบ่งข้อมูลเป็นชุด train, test และ validation

sframe <- h2o.splitFrame(data = seeds_data_hf, ratios = c(0.7, 0.15), seed = 42)
train <- sframe[[1]]
valid <- sframe[[2]]
test <- sframe[[3]]

กำหนด Hyperparameter Grid

Hyperparameters ของ GBM

gbm_params <- list(ntrees = c(100, 150, 200), max_depth = c(3, 5, 7), learn_rate = c(0.001, 0.01, 0.1))

ฟังก์ชัน h2o.grid

gbm_grid <- h2o.grid("gbm", 
                     grid_id = "gbm_grid",
                     x = x, 
                     y = y,
                     training_frame = train,
                     validation_frame = valid,
                     seed = 42,
                     hyper_params = gbm_params)

ดูผลลัพธ์ด้วย h2o.getGrid

ตรวจสอบ Grid Object

ตรวจสอบผลลัพธ์ของโมเดล gbm_grid ด้วยฟังก์ชัน h2o.getGrid
ดูผลลัพธ์ของ grid เรียงตาม validation accuracy

gbm_gridperf <- h2o.getGrid(grid_id = "gbm_grid", sort_by = "accuracy", decreasing = TRUE)

Grid ID: gbm_grid 
Used hyper parameters: 
  -  learn_rate 
  -  max_depth 
  -  ntrees 
Number of models: 27 
Number of failed models: 0 

Hyper-Parameter Search Summary: ordered by decreasing accuracy

ดึงโมเดลที่ดีที่สุดจาก Grid

โมเดล GBM ที่ดีที่สุดตาม validation accuracy อยู่ในตำแหน่งที่ 1

best_gbm <- h2o.getModel(gbm_gridperf@model_ids[[1]])

Hyperparameters ของโมเดลที่ดีที่สุด:

print(best_gbm@model[["model_summary"]])

Model Summary: 
 number_of_trees number_of_internal_trees model_size_in_bytes min_depth
             200                      600              100961         2 
 max_depth mean_depth min_leaves max_leaves mean_leaves
         7    5.22667          3         10     8.38833

ดึงโมเดลที่ดีที่สุดจาก Grid

best_gbm คือ โมเดล H2O ปกติ และใช้งานได้เหมือนโมเดลทั่วไป!

h2o.performance(best_gbm, test)

MSE: (Extract with `h2o.mse`) 0.04761904
RMSE: (Extract with `h2o.rmse`) 0.2182179
Logloss: (Extract with `h2o.loglos

Random Search ด้วย H2O

นอกจาก hyperparameter grid แล้ว ยังเพิ่ม search criteria ได้:

gbm_params <- list(ntrees = c(100, 150, 200),
                   max_depth = c(3, 5, 7),
                   learn_rate = c(0.001, 0.01, 0.1))

search_criteria <- list(strategy = "RandomDiscrete", 
                        max_runtime_secs = 60, 
                        seed = 42)

gbm_grid <- h2o.grid("gbm", 
                     grid_id = "gbm_grid",
                     x = x, y = y,
                     training_frame = train,
                     validation_frame = valid,
                     seed = 42,
                     hyper_params = gbm_params,
                     search_criteria = search_criteria)

search_criteria <- list(strategy = "RandomDiscrete", 
                        stopping_metric = "mean_per_class_error", 
                        stopping_tolerance = 0.0001, 
                        stopping_rounds = 6)

gbm_grid <- h2o.grid("gbm", x = x, y = y, training_frame = train, validation_frame = valid, 
                      seed = 42, hyper_params = gbm_params, search_criteria = search_criteria)

H2O Grid Details
================
Grid ID: gbm_grid 
Used hyper parameters: 
  -  learn_rate 
  -  max_depth 
  -  ntrees 
Number of models: 30 
Number of failed models: 0

มาฝึกกันเถอะ!

การปรับ Hyperparameter ใน R