Узагальнення моделі: bootstrapping і перехресна перевірка

Практика співбесід з Machine Learning у Python

Lisa Stuart

Data Scientist

Огляд розділу 4

  • Bootstrapping/перехресна перевірка → узагальнення моделі
  • Незбалансовані класи
  • Корельовані ознаки
  • Вибір ансамблевої моделі
Практика співбесід з Machine Learning у Python

Узагальнення моделі

  • Здатність ML-моделі добре працювати на невиданих даних
    • тестовий набір
    • майбутні дані
  • Метрики train $\approx$ метрики test
  • Перенавчені моделі не узагальнюють
Практика співбесід з Machine Learning у Python

Дерево рішень

Графік дерева рішень

1 https://medium.com/@rnbrown/creating-and-visualizing-decision-trees-with-python-f8e8fa394176
Практика співбесід з Machine Learning у Python

Вузли дерева рішень

Кореневий вузол дерева рішень

Практика співбесід з Machine Learning у Python

Переваги та недоліки

Графік дерева рішень

  • Переваги:
    • Легко зрозуміти
    • Легко візуалізувати
  • Недоліки:
    • Легко перенавчається
    • Вважається «жадібним»
    • Схильне до упередження за дисбалансу класів
Практика співбесід з Machine Learning у Python

Random Forest

Random Forest

1 https://www.researchgate.net/figure/Random-Forest-visualization_fig11_326560291
Практика співбесід з Machine Learning у Python

K-fold перехресна перевірка

K-fold перехресна перевірка

1 https://scikit-learn.org/stable/modules/cross_validation.html
Практика співбесід з Machine Learning у Python

Функції

# decision tree
`sklearn.tree.DecisionTreeClassifier` 

# random forest 
`sklearn.ensemble.RandomForestClassifier`

# cross-validated grid search
`sklearn.model_selection.GridSearchCV` 

# model accuracy
`sklearn.metrics.accuracy_score` 


# train/test split function
`sklearn.model_selection.train_test_split`

# Parameters that gave best results
`cross-val_model.best_params_`

# Mean cross-validated score of 
# estimator with best params 
`cross-val_model.best_score_`
Практика співбесід з Machine Learning у Python

GridSearchCV vs RandomSearchCV

Пошук по сітці

Практика співбесід з Machine Learning у Python

Давайте потренуємось!

Практика співбесід з Machine Learning у Python

Preparing Video For Download...