Vamos usar o mlxtend!

Métodos de Ensemble em Python

Román de las Heras

Data Scientist, Appodeal

Mlxtend

Extensões de Machine Learning
Utilitários e ferramentas para tarefas de Data Science:
- Seleção de features
- Métodos de ensemble
- Visualização
- Avaliação de modelos
API intuitiva e amigável
Compatível com estimadores do scikit-learn

¹ Raschka, Sebastian (2018) MLxtend: Utilitários e extensões de machine learning e data science para a stack de computação científica em Python: https://rasbt.github.io/mlxtend/

Implementação de stacking no mlxtend

visão geral do stackingclassification.png

Características:

Estimadores individuais treinados em todas as features
O meta-estimador é treinado usando apenas as previsões como meta-features
O meta-estimador pode usar rótulos ou probabilidades como alvo

StackingClassifier com mlxtend

from mlxtend.classifier 
    import StackingClassifier

# Instanciar os classificadores da 1ª camada
clf1 = Classifier1(params1)
clf2 = Classifier2(params2)
...
clfN = ClassifierN(paramsN)

# Instanciar o classificador da 2ª camada
clf_meta = ClassifierMeta(paramsMeta)

# Construir o classificador Stacking
clf_stack = StackingClassifier(
   classifiers=[clf1, clf2, ... clfN],
   meta_classifier=clf_meta,
   use_probas=False,
   use_features_in_secondary=False)

# Usar os métodos fit e predict
# como nos estimadores do scikit-learn
clf_stack.fit(X_train, y_train)
pred = clf_stack.predict(X_test)

StackingRegressor com mlxtend

from mlxtend.regressor 
    import StackingRegressor

# Instanciar os regresssores da 1ª camada
reg1 = Regressor1(params1)
reg2 = Regressor2(params2)
...
regN = RegressorN(paramsN)

# Instanciar o regressor da 2ª camada
reg_meta = RegressorMeta(paramsMeta)

# Construir o regressor Stacking
reg_stack = StackingRegressor(
   regressors=[reg1, reg2, ... regN],
   meta_regressor=reg_meta,
   use_features_in_secondary=False)

# Usar os métodos fit e predict
# como nos estimadores do scikit-learn
reg_stack.fit(X_train, y_train)
pred = reg_stack.predict(X_test)

Vamos usar o mlxtend!

Métodos de Ensemble em Python