Обобщение модели: бутстрэп и кросс-валидация

Практика вопросов интервью по машинному обучению на Python

Lisa Stuart

Data Scientist

Обзор главы 4

Бутстрэп/кросс-валидация --> обобщение модели
Дисбаланс классов
Коррелирующие признаки
Выбор ансамблевой модели

Обобщение модели

Способность модели хорошо работать на новых данных
- тестовый набор данных
- будущие данные
Метрики на обучении $\approx$ метрики на тесте
Переобученные модели не обобщаются

Дерево решений

График дерева решений

¹ https://medium.com/@rnbrown/creating-and-visualizing-decision-trees-with-python-f8e8fa394176

Узлы дерева решений

Корневой узел дерева решений

Преимущества и недостатки

График дерева решений

Преимущества:
- Легко понять
- Легко визуализировать
Недостатки:
- Склонно к переобучению
- Жадный алгоритм
- Смещение при дисбалансе классов

Случайный лес

¹ https://www.researchgate.net/figure/Random-Forest-visualization_fig11_326560291

K-блочная кросс-валидация

¹ https://scikit-learn.org/stable/modules/cross_validation.html

Функции

# decision tree
`sklearn.tree.DecisionTreeClassifier` 

# random forest 
`sklearn.ensemble.RandomForestClassifier`

# cross-validated grid search
`sklearn.model_selection.GridSearchCV` 

# model accuracy
`sklearn.metrics.accuracy_score`

# train/test split function
`sklearn.model_selection.train_test_split`

# Parameters that gave best results
`cross-val_model.best_params_`

# Mean cross-validated score of 
# estimator with best params 
`cross-val_model.best_score_`

GridSearchCV vs RandomSearchCV

Поиск по сетке

Давайте потренируемся!

Практика вопросов интервью по машинному обучению на Python