Automatisch machine learning met H2O

Hyperparameterafstelling in R

Dr. Shirin Elsinghorst

Senior Data Scientist

Automatic Machine Learning (AutoML)

Automatisch afstemmen van algoritmes, naast hyperparameters

AutoML maakt modelafstemming en optimalisatie veel sneller en makkelijker

AutoML heeft alleen een dataset, een doelvariabele en een tijd- of modelaantal-limiet nodig voor training

AutoML in H2O

AutoML vergelijkt

Gegeneraliseerd lineair model (GLM)
(Distributed) Random Forest (DRF)
Extremely Randomized Trees (XRT)
Extreme Gradient Boosting (XGBoost)
Gradient Boosting machines (GBM)
Deep learning (volledig verbonden meerlagig neuraal netwerk)
Gestapelde ensembles (van alle modellen & best of family)

GBM-hyperparameters

histogram_type
ntrees
max_depth
min_rows
learn_rate
sample_rate
col_sample_rate
col_sample_rate_per_tree
min_split_improvement

Deep-learning-hyperparameters

epochs
adaptivate_rate
activation
rho
epsilon
input_dropout_ratio
hidden
hidden_dropout_ratios

# Using h2o.automl function
automl_model <- h2o.automl(x = x, y = y,
                           training_frame = train,
                           validation_frame = valid,
                           max_runtime_secs = 60,
                           sort_metric = "logloss",
                           seed = 42)

geeft een leaderboard van alle modellen, gerangschikt op de gekozen metric (hier "logloss")

Slot "leader":
Model Details:
==============

H2OMultinomialModel: gbm
Model Summary: 
 number_of_trees number_of_internal_trees model_size_in_bytes min_depth
             189                      567               65728         1
 max_depth mean_depth min_leaves max_leaves mean_leaves
         5    2.96649          2          6     4.20988

Het AutoML-leaderboard bekijken

lb <- automl_model@leaderboard

                                    model_id mean_per_class_error
1  GBM_grid_0_AutoML_20181029_144443_model_6           0.01851852
2 GBM_grid_0_AutoML_20181029_144443_model_30           0.02777778
3 GBM_grid_0_AutoML_20181029_144443_model_18           0.02777778
4  GBM_grid_0_AutoML_20181029_144443_model_9           0.03703704

Standaard wordt het leaderboard berekend met 5-voudige cross-validatie.

https://docs.h2o.ai/h2o/latest-stable/h2o-docs/automl.html

Modellen uit het AutoML-leaderboard halen

# List all models by model id
model_ids <- as.data.frame(lb)$model_id

 [1] "GBM_grid_0_AutoML_20181029_144443_model_6"       
 [3] "GBM_grid_0_AutoML_20181029_144443_model_18"         
[19] "XRT_0_AutoML_20181029_144443"
[20] "DRF_0_AutoML_20181029_144443"            
[24] "DeepLearning_0_AutoML_20181029_144443"                        
[41] "StackedEnsemble_BestOfFamily_0_AutoML_20181029_144443" 
[42] "StackedEnsemble_AllModels_0_AutoML_20181029_144443"

# Get the best model
aml_leader <- automl_model@leader

aml_leader is opnieuw een standaard H2O-modelobject en kun je zo gebruiken.

Maak je klaar voor de laatste oefeningen!

Hyperparameterafstelling in R