Crea il tuo primo stacked ensemble

Metodi Ensemble in Python

Román de las Heras

Data Scientist, Appodeal

Stacking di modelli con scikit-learn

Alcune caratteristiche dello stacking in scikit-learn:

scikit-learn offre stimatori di stacking (dalla versione 0.22)
Compatibile con altri stimatori scikit-learn
Il meta-stimatore finale è addestrato con cross-validation

Passi generali

Passi dell'architettura di stacking

Passi generali di implementazione:

Prepara il dataset
Crea gli stimatori del 1º livello
Aggiungi le previsioni al dataset
Crea il meta-stimatore del 2º livello
Usa lo stacked ensemble per predire

Stacking classifier

from sklearn.ensemble import StackingClassifier

# Istanzia i classificatori di 1º livello
classifiers = [
    ('clf1', Classifier1(params1)),
    ('clf2', Classifier2(params2)),
    ...
    ('clfN', ClassifierN(paramsN))
]

# Istanzia il classificatore di 2º livello
clf_meta = ClassifierMeta(paramsMeta)

# Crea lo Stacking classifier
clf_stack = StackingClassifier(
   estimators=classifiers,
   final_estimator=clf_meta,
   cv=5,
   stack_method='predict_proba',
   passthrough=False)

# Usa i metodi fit e predict
clf_stack.fit(X_train, y_train)
pred = clf_stack.predict(X_test)

Stacking regressor

from sklearn.ensemble import StackingRegressor

# Istanzia i regressori di 1º livello
regressors = [
    ('reg1', Regressor1(params1)),
    ('reg2', Regressor2(params2)),
    ...
    ('regN', RegressorN(paramsN))    
]

# Istanzia il regressore di 2º livello
reg_meta = RegressorMeta(paramsMeta)

# Crea lo Stacking regressor
reg_stack = StackingRegressor(
   estimators=regressors,
   final_estimator=reg_meta,
   cv=5,
   passthrough=False)

# Usa i metodi fit e predict
reg_stack.fit(X_train, y_train)
pred = reg_stack.predict(X_test)

Tocca a te!

Metodi Ensemble in Python