Généralisation du modèle : bootstrap et validation croisée

S'exercer aux questions d'entrevue en Machine Learning avec Python

Lisa Stuart

Data Scientist

Aperçu du chapitre 4

Bootstrap/validation croisée --> généralisation du modèle
Classes déséquilibrées
Variables corrélées
Sélection de modèle d'ensemble

Généralisation du modèle

Capacité d'un modèle de ML à bien performer sur des données inédites
- ensemble de test
- données futures
Mesures d'entraînement $\approx$ mesures de test
Les modèles surajustés ne généralisent pas

Arbre de décision

Graphique d'arbre de décision

¹ https://medium.com/@rnbrown/creating-and-visualizing-decision-trees-with-python-f8e8fa394176

Nœuds d'arbre de décision

Nœud racine d'un arbre de décision

Avantages vs inconvénients

Graphique d'arbre de décision

Avantages :
- Facile à comprendre
- Facile à visualiser
Inconvénients :
- Surajustement facile
- Considéré comme « glouton »
- Biaisé en cas de déséquilibre des classes

Random Forest

Forêt aléatoire

¹ https://www.researchgate.net/figure/Random-Forest-visualization_fig11_326560291

Validation croisée en k volets

¹ https://scikit-learn.org/stable/modules/cross_validation.html

Fonctions

# decision tree
`sklearn.tree.DecisionTreeClassifier` 

# random forest 
`sklearn.ensemble.RandomForestClassifier`

# cross-validated grid search
`sklearn.model_selection.GridSearchCV` 

# model accuracy
`sklearn.metrics.accuracy_score`

# train/test split function
`sklearn.model_selection.train_test_split`

# Parameters that gave best results
`cross-val_model.best_params_`

# Mean cross-validated score of 
# estimator with best params 
`cross-val_model.best_score_`

GridSearchCV vs RandomSearchCV

Recherche par grille

Passons à la pratique !

S'exercer aux questions d'entrevue en Machine Learning avec Python