Créez votre premier ensemble empilé

Méthodes d'ensemble en Python

Román de las Heras

Data Scientist, Appodeal

Empiler des modèles avec scikit-learn

Fonctionnalités du regroupement (stacking) dans scikit-learn :

scikit-learn offre des estimateurs de stacking (depuis la version 0.22)
Compatible avec les autres estimateurs scikit-learn
L'estimateur final est entraîné par validation croisée

Étapes générales

Étapes de l'architecture de stacking

Étapes générales de l'implémentation :

Préparer l'ensemble de données
Construire les estimateurs de la 1re couche
Ajouter les prédictions à l'ensemble de données
Construire l'estimateur méta de 2e couche
Utiliser l'ensemble empilé pour prédire

Classifieur de stacking

from sklearn.ensemble import StackingClassifier

# Instancier les classifieurs de 1re couche
classifiers = [
    ('clf1', Classifier1(params1)),
    ('clf2', Classifier2(params2)),
    ...
    ('clfN', ClassifierN(paramsN))
]

# Instancier le classifieur de 2e couche
clf_meta = ClassifierMeta(paramsMeta)

# Construire le classifieur de stacking
clf_stack = StackingClassifier(
   estimators=classifiers,
   final_estimator=clf_meta,
   cv=5,
   stack_method='predict_proba',
   passthrough=False)

# Utiliser les méthodes fit et predict
clf_stack.fit(X_train, y_train)
pred = clf_stack.predict(X_test)

Régressseur de stacking

from sklearn.ensemble import StackingRegressor

# Instancier les régressseurs de 1re couche
regressors = [
    ('reg1', Regressor1(params1)),
    ('reg2', Regressor2(params2)),
    ...
    ('regN', RegressorN(paramsN))    
]

# Instancier le régressseur de 2e couche
reg_meta = RegressorMeta(paramsMeta)

# Construire le régressseur de stacking
reg_stack = StackingRegressor(
   estimators=regressors,
   final_estimator=reg_meta,
   cv=5,
   passthrough=False)

# Utiliser les méthodes fit et predict
reg_stack.fit(X_train, y_train)
pred = reg_stack.predict(X_test)

À vous de jouer !

Méthodes d'ensemble en Python