Crea tu primer stacked ensemble

Ensemble Methods in Python

Román de las Heras

Data Scientist, Appodeal

Modelos stacking con scikit-learn

Algunas características del stacking en scikit-learn:

scikit-learn incluye estimadores de stacking (desde la versión 0.22)
Compatible con otros estimadores de scikit-learn
El estimador final se entrena con validación cruzada

Pasos generales

Pasos de la arquitectura de stacking

Pasos generales para implementarlo:

Prepara el conjunto de datos
Crea los estimadores de la primera capa
Añade las predicciones al conjunto de datos
Crea el metaestimador de la segunda capa
Usa el ensemble apilado para predecir

Clasificador stacking

from sklearn.ensemble import StackingClassifier

# Instancia los clasificadores de la 1.ª capa
classifiers = [
    ('clf1', Classifier1(params1)),
    ('clf2', Classifier2(params2)),
    ...
    ('clfN', ClassifierN(paramsN))
]

# Instancia el clasificador de la 2.ª capa
clf_meta = ClassifierMeta(paramsMeta)

# Construye el clasificador Stacking
clf_stack = StackingClassifier(
   estimators=classifiers,
   final_estimator=clf_meta,
   cv=5,
   stack_method='predict_proba',
   passthrough=False)

# Usa los métodos fit y predict
clf_stack.fit(X_train, y_train)
pred = clf_stack.predict(X_test)

Regresor stacking

from sklearn.ensemble import StackingRegressor

# Instancia los regresores de la 1.ª capa
regressors = [
    ('reg1', Regressor1(params1)),
    ('reg2', Regressor2(params2)),
    ...
    ('regN', RegressorN(paramsN))    
]

# Instancia el regresor de la 2.ª capa
reg_meta = RegressorMeta(paramsMeta)

# Construye el regresor Stacking
reg_stack = StackingRegressor(
   estimators=regressors,
   final_estimator=reg_meta,
   cv=5,
   passthrough=False)

# Usa los métodos fit y predict
reg_stack.fit(X_train, y_train)
pred = reg_stack.predict(X_test)

¡Es tu turno!

Ensemble Methods in Python