Automatické strojové učení s H2O

Hyperparameter Tuning in R

Dr. Shirin Elsinghorst

Senior Data Scientist

Automatické strojové učení (AutoML)

Automatické ladění algoritmů včetně hyperparametrů

AutoML výrazně zrychluje a zjednodušuje ladění a optimalizaci modelů

AutoML vyžaduje pouze datovou sadu, cílovou proměnnou a časový nebo početní limit tréninku

AutoML v H2O

AutoML porovnává

Generalizovaný lineární model (GLM)
(Distribuovaný) náhodný les (DRF)
Extrémně náhodné stromy (XRT)
Extrémní gradientní boosting (XGBoost)
Gradientní boosting (GBM)
Hluboké učení (plně propojená vícevrstvá neuronová síť)
Skládané ansámbly (všech modelů i nejlepších ze skupiny)

Hyperparametry GBM

histogram_type
ntrees
max_depth
min_rows
learn_rate
sample_rate
col_sample_rate
col_sample_rate_per_tree
min_split_improvement

Hyperparametry hlubokého učení

epochs
adaptivate_rate
activation
rho
epsilon
input_dropout_ratio
hidden
hidden_dropout_ratios

# Using h2o.automl function
automl_model <- h2o.automl(x = x, y = y,
                           training_frame = train,
                           validation_frame = valid,
                           max_runtime_secs = 60,
                           sort_metric = "logloss",
                           seed = 42)

vrací žebříček všech modelů seřazených podle zvolené metriky (zde „logloss")

Slot "leader":
Model Details:
==============

H2OMultinomialModel: gbm
Model Summary: 
 number_of_trees number_of_internal_trees model_size_in_bytes min_depth
             189                      567               65728         1
 max_depth mean_depth min_leaves max_leaves mean_leaves
         5    2.96649          2          6     4.20988

Zobrazení žebříčku AutoML

lb <- automl_model@leaderboard

                                    model_id mean_per_class_error
1  GBM_grid_0_AutoML_20181029_144443_model_6           0.01851852
2 GBM_grid_0_AutoML_20181029_144443_model_30           0.02777778
3 GBM_grid_0_AutoML_20181029_144443_model_18           0.02777778
4  GBM_grid_0_AutoML_20181029_144443_model_9           0.03703704

Výchozí výpočet žebříčku vychází z 5-násobné křížové validace.

https://docs.h2o.ai/h2o/latest-stable/h2o-docs/automl.html

Extrakce modelů ze žebříčku AutoML

# List all models by model id
model_ids <- as.data.frame(lb)$model_id

 [1] "GBM_grid_0_AutoML_20181029_144443_model_6"       
 [3] "GBM_grid_0_AutoML_20181029_144443_model_18"         
[19] "XRT_0_AutoML_20181029_144443"
[20] "DRF_0_AutoML_20181029_144443"            
[24] "DeepLearning_0_AutoML_20181029_144443"                        
[41] "StackedEnsemble_BestOfFamily_0_AutoML_20181029_144443" 
[42] "StackedEnsemble_AllModels_0_AutoML_20181029_144443"

# Get the best model
aml_leader <- automl_model@leader

aml_leader je opět standardní objekt modelu H2O a lze s ním tak pracovat!

Připravte se na poslední sadu cvičení!

Hyperparameter Tuning in R