Automatisk maskininlärning med H2O

Hyperparameterjustering i R

Dr. Shirin Elsinghorst

Senior Data Scientist

Automatisk maskininlärning (AutoML)

Automatisk justering av algoritmer, utöver hyperparametrar

AutoML gör modelloptimering mycket snabbare och enklare

AutoML behöver bara en datamängd, en målvariabel och en tids- eller modellgräns för träning

AutoML i H2O

AutoML jämför

Generaliserad linjär modell (GLM)
(Distribuerad) slumpmässig skog (DRF)
Extremt slumpmässiga träd (XRT)
Extrem gradientboostning (XGBoost)
Gradientboostningsmaskiner (GBM)
Djupinlärning (fullt anslutet flerlagers artificiellt neuralt nätverk)
Staplade ensembler (av alla modeller och av bäst i familj)

GBM-hyperparametrar

histogram_type
ntrees
max_depth
min_rows
learn_rate
sample_rate
col_sample_rate
col_sample_rate_per_tree
min_split_improvement

Hyperparametrar för djupinlärning

epochs
adaptivate_rate
activation
rho
epsilon
input_dropout_ratio
hidden
hidden_dropout_ratios

# Using h2o.automl function
automl_model <- h2o.automl(x = x, y = y,
                           training_frame = train,
                           validation_frame = valid,
                           max_runtime_secs = 60,
                           sort_metric = "logloss",
                           seed = 42)

returnerar en resultattabell med alla modeller, rankade efter valt mätvärde (här "logloss")

Slot "leader":
Model Details:
==============

H2OMultinomialModel: gbm
Model Summary: 
 number_of_trees number_of_internal_trees model_size_in_bytes min_depth
             189                      567               65728         1
 max_depth mean_depth min_leaves max_leaves mean_leaves
         5    2.96649          2          6     4.20988

Visa AutoML-resultattabellen

lb <- automl_model@leaderboard

                                    model_id mean_per_class_error
1  GBM_grid_0_AutoML_20181029_144443_model_6           0.01851852
2 GBM_grid_0_AutoML_20181029_144443_model_30           0.02777778
3 GBM_grid_0_AutoML_20181029_144443_model_18           0.02777778
4  GBM_grid_0_AutoML_20181029_144443_model_9           0.03703704

Som standard beräknas resultattabellen med 5-faldig korsvalidering.

https://docs.h2o.ai/h2o/latest-stable/h2o-docs/automl.html

Extrahera modeller från AutoML-resultattabellen

# List all models by model id
model_ids <- as.data.frame(lb)$model_id

 [1] "GBM_grid_0_AutoML_20181029_144443_model_6"       
 [3] "GBM_grid_0_AutoML_20181029_144443_model_18"         
[19] "XRT_0_AutoML_20181029_144443"
[20] "DRF_0_AutoML_20181029_144443"            
[24] "DeepLearning_0_AutoML_20181029_144443"                        
[41] "StackedEnsemble_BestOfFamily_0_AutoML_20181029_144443" 
[42] "StackedEnsemble_AllModels_0_AutoML_20181029_144443"

# Get the best model
aml_leader <- automl_model@leader

aml_leader är ett vanligt H2O-modellobjekt och kan användas som ett sådant!

Nu kör vi en övning!

Hyperparameterjustering i R