Автоматическое машинное обучение с H2O
Настройка гиперпараметров в R
Dr. Shirin Elsinghorst
Senior Data Scientist
Автоматическое машинное обучение (AutoML)
- Автоматический подбор алгоритмов и гиперпараметров
- AutoML делает настройку и оптимизацию моделей быстрее и проще
- AutoML требует лишь набор данных, целевую переменную и ограничение по времени или числу моделей
AutoML в H2O
AutoML сравнивает
- Обобщённая линейная модель (GLM)
- (Распределённый) случайный лес (DRF)
- Сверхслучайные деревья (XRT)
- Экстремальный градиентный бустинг (XGBoost)
- Машины градиентного бустинга (GBM)
- Глубокое обучение (полносвязная многослойная нейронная сеть)
- Стекированные ансамбли (из всех моделей и лучших в каждом семействе)
Гиперпараметры GBM
histogram_typentreesmax_depthmin_rowslearn_ratesample_ratecol_sample_ratecol_sample_rate_per_treemin_split_improvement
Гиперпараметры глубокого обучения
epochsadaptivate_rateactivationrhoepsiloninput_dropout_ratiohiddenhidden_dropout_ratios
# Using h2o.automl function
automl_model <- h2o.automl(x = x, y = y,
training_frame = train,
validation_frame = valid,
max_runtime_secs = 60,
sort_metric = "logloss",
seed = 42)
- возвращает таблицу лидеров всех моделей, ранжированных по выбранной метрике (здесь «logloss»)
Slot "leader":
Model Details:
==============
H2OMultinomialModel: gbm
Model Summary:
number_of_trees number_of_internal_trees model_size_in_bytes min_depth
189 567 65728 1
max_depth mean_depth min_leaves max_leaves mean_leaves
5 2.96649 2 6 4.20988
Просмотр таблицы лидеров AutoML
lb <- automl_model@leaderboard
model_id mean_per_class_error
1 GBM_grid_0_AutoML_20181029_144443_model_6 0.01851852
2 GBM_grid_0_AutoML_20181029_144443_model_30 0.02777778
3 GBM_grid_0_AutoML_20181029_144443_model_18 0.02777778
4 GBM_grid_0_AutoML_20181029_144443_model_9 0.03703704
- По умолчанию таблица лидеров рассчитывается на основе 5-кратной кросс-валидации.
Извлечение моделей из таблицы лидеров AutoML
# List all models by model id
model_ids <- as.data.frame(lb)$model_id
[1] "GBM_grid_0_AutoML_20181029_144443_model_6"
[3] "GBM_grid_0_AutoML_20181029_144443_model_18"
[19] "XRT_0_AutoML_20181029_144443"
[20] "DRF_0_AutoML_20181029_144443"
[24] "DeepLearning_0_AutoML_20181029_144443"
[41] "StackedEnsemble_BestOfFamily_0_AutoML_20181029_144443"
[42] "StackedEnsemble_AllModels_0_AutoML_20181029_144443"
# Get the best model
aml_leader <- automl_model@leader
aml_leader— это обычный объект модели H2O, и с ним можно работать соответствующим образом!
Давайте потренируемся!
Настройка гиперпараметров в R
