Assembler le tout
Méthodes d'ensemble en Python
Román de las Heras
Data Scientist, Appodeal
Chapitre 1 : Vote et moyennage
Vote
- Combinaison : mode (majorité)
- Classification
- Méthode d'ensemble hétérogène
Moyennage
- Combinaison : moyenne (arithmétique)
- Classification et régression
- Méthode d'ensemble hétérogène
Bons choix si vous :
- Avez construit plusieurs modèles différents
- N'êtes pas certain du meilleur
- Voulez améliorer la performance globale
Chapitre 2 : Bagging
Estimateur faible
- Fait à peine mieux qu'un choix aléatoire
- Modèle léger et rapide
- Base des méthodes d'ensemble homogènes
Bagging (Bootstrap Aggregating)
- Sous-échantillons aléatoires avec remise
- Grand nombre d'estimateurs « faibles »
- Agrégation par vote ou moyennage
- Méthode d'ensemble homogène
Bon choix si vous :
- Voulez réduire la variance
- Devez éviter le surapprentissage
- Recherchez plus de stabilité et de robustesse
* Observation :*
- Le bagging est coûteux en calcul
Chapitre 3 : Boosting
Apprentissage graduel
- Type de méthode d'ensemble homogène
- Basé sur un apprentissage itératif
- Construction séquentielle de modèles
Algorithmes de boosting
- AdaBoost
- Gradient Boosting :
- XGBoost
- LightGBM
- CatBoost
Bon choix si vous :
- Traitez des problèmes complexes
- Devez appliquer le traitement parallèle ou l'informatique distribuée
- Avez de grands ensembles de données ou des variables catégorielles à haute dimension
Chapitre 4 : Empilement
Empilement (Stacking)
- Combinaison : méta-estimateur (modèle)
- Classification et régression
- Méthode d'ensemble hétérogène
Mise en œuvre
- À partir de zéro avec pandas et sklearn
- Avec la bibliothèque existante MLxtend
Bon choix si vous :
- Avez essayé le vote / le moyennage mais les résultats déçoivent
- Avez des modèles performants dans des cas différents
Merci et bel ensemble !
Méthodes d'ensemble en Python
