Învățare automată cu H2O

Ajustarea hiperparametrilor în R

Dr. Shirin Elsinghorst

Senior Data Scientist

Învățare automată automată (AutoML)

Ajustare automată a algoritmilor, inclusiv a hiperparametrilor

AutoML face optimizarea modelelor mult mai rapidă și mai ușoară

AutoML necesită doar un set de date, o variabilă țintă și o limită de timp sau număr de modele

AutoML în H2O

AutoML compară

Model liniar generalizat (GLM)
Pădure aleatoare (distribuită) (DRF)
Arbori extrem de randomizați (XRT)
Gradient Boosting extrem (XGBoost)
Mașini de Gradient Boosting (GBM)
Învățare profundă (rețea neurală artificială multi-strat)
Ansambluri stivuite (din toate modelele și din familia celor mai bune)

Hiperparametri GBM

histogram_type
ntrees
max_depth
min_rows
learn_rate
sample_rate
col_sample_rate
col_sample_rate_per_tree
min_split_improvement

Hiperparametri Deep Learning

epochs
adaptivate_rate
activation
rho
epsilon
input_dropout_ratio
hidden
hidden_dropout_ratios

# Using h2o.automl function
automl_model <- h2o.automl(x = x, y = y,
                           training_frame = train,
                           validation_frame = valid,
                           max_runtime_secs = 60,
                           sort_metric = "logloss",
                           seed = 42)

returnează un clasament al tuturor modelelor, ordonat după metrica aleasă (aici "logloss")

Slot "leader":
Model Details:
==============

H2OMultinomialModel: gbm
Model Summary: 
 number_of_trees number_of_internal_trees model_size_in_bytes min_depth
             189                      567               65728         1
 max_depth mean_depth min_leaves max_leaves mean_leaves
         5    2.96649          2          6     4.20988

Vizualizarea clasamentului AutoML

lb <- automl_model@leaderboard

                                    model_id mean_per_class_error
1  GBM_grid_0_AutoML_20181029_144443_model_6           0.01851852
2 GBM_grid_0_AutoML_20181029_144443_model_30           0.02777778
3 GBM_grid_0_AutoML_20181029_144443_model_18           0.02777778
4  GBM_grid_0_AutoML_20181029_144443_model_9           0.03703704

În mod implicit, clasamentul este calculat prin validare încrucișată în 5 pași.

https://docs.h2o.ai/h2o/latest-stable/h2o-docs/automl.html

Extragerea modelelor din clasamentul AutoML

# List all models by model id
model_ids <- as.data.frame(lb)$model_id

 [1] "GBM_grid_0_AutoML_20181029_144443_model_6"       
 [3] "GBM_grid_0_AutoML_20181029_144443_model_18"         
[19] "XRT_0_AutoML_20181029_144443"
[20] "DRF_0_AutoML_20181029_144443"            
[24] "DeepLearning_0_AutoML_20181029_144443"                        
[41] "StackedEnsemble_BestOfFamily_0_AutoML_20181029_144443" 
[42] "StackedEnsemble_AllModels_0_AutoML_20181029_144443"

# Get the best model
aml_leader <- automl_model@leader

aml_leader este un obiect model H2O obișnuit și poate fi tratat ca atare!

Pregătiți-vă pentru ultima rundă de exerciții!

Ajustarea hiperparametrilor în R