Agrégation par bootstrap

Méthodes d'ensemble en Python

Román de las Heras

Data Scientist, Appodeal

Ensembles hétérogènes vs homogènes

Hétérogène :

  • Algorithmes différents (ajustés finement)
  • Petit nombre d'estimateurs
  • Vote, moyenne et empilement

Homogène :

  • Même algorithme (modèle « faible »)
  • Grand nombre d'estimateurs
  • Bagging et boosting
Méthodes d'ensemble en Python

Théorème du jury de Condorcet

Conditions :

  • Modèles indépendants
  • Chaque modèle fait mieux qu'au hasard
  • Performances similaires entre modèles

Conclusion : Ajouter des modèles améliore la performance de l'ensemble (vote ou moyenne), et cela tend vers 1 (100 %)

Condorcet Marquis de Condorcet, philosophe et mathématicien français

Méthodes d'ensemble en Python

Bootstrap

Le bootstrap exige :

  • Sous-échantillons aléatoires
  • Avec remise

Le bootstrap garantit :

  • Groupe diversifié : ensembles de données différents
  • Indépendance : échantillonnés séparément

Bagging.png

Méthodes d'ensemble en Python

Avantages et inconvénients du bagging

Avantages

  • Le bagging réduit généralement la variance
  • Le surapprentissage peut être évité par l'ensemble lui-même
  • Plus de stabilité et de robustesse

Inconvénients

  • Coûteux en calcul
Méthodes d'ensemble en Python

Passons à la pratique !

Méthodes d'ensemble en Python

Preparing Video For Download...