Laten we mlxtend gebruiken!

Ensemblemethoden in Python

Román de las Heras

Data Scientist, Appodeal

Mlxtend

Machine Learning Extensions
Hulpprogramma’s en tools voor data science-taken:
- Featureselectie
- Ensembles
- Visualisatie
- Model-evaluatie
Intuïtieve, gebruiksvriendelijke API
Compatibel met scikit-learn-estimators

¹ Raschka, Sebastian (2018) MLxtend: Providing machine learning and data science utilities and extensions to Python's scientific computing stack: https://rasbt.github.io/mlxtend/

Stacking-implementatie van mlxtend

overzicht stackingclassificatie.png

Kenmerken:

Individuele estimators trainen op alle features
De meta-estimator traint alleen op de voorspellingen als meta-features
De meta-estimator kan trainen met labels of kansen als target

StackingClassifier met mlxtend

from mlxtend.classifier 
    import StackingClassifier

# Instantieer de classifiers van laag 1
clf1 = Classifier1(params1)
clf2 = Classifier2(params2)
...
clfN = ClassifierN(paramsN)

# Instantieer de classifier van laag 2
clf_meta = ClassifierMeta(paramsMeta)

# Bouw de Stacking-classifier
clf_stack = StackingClassifier(
   classifiers=[clf1, clf2, ... clfN],
   meta_classifier=clf_meta,
   use_probas=False,
   use_features_in_secondary=False)

# Gebruik fit en predict
# zoals bij scikit-learn-estimators
clf_stack.fit(X_train, y_train)
pred = clf_stack.predict(X_test)

StackingRegressor met mlxtend

from mlxtend.regressor 
    import StackingRegressor

# Instantieer de regressors van laag 1
reg1 = Regressor1(params1)
reg2 = Regressor2(params2)
...
regN = RegressorN(paramsN)

# Instantieer de regressor van laag 2
reg_meta = RegressorMeta(paramsMeta)

# Bouw de Stacking-regressor
reg_stack = StackingRegressor(
   regressors=[reg1, reg2, ... regN],
   meta_regressor=reg_meta,
   use_features_in_secondary=False)

# Gebruik fit en predict
# zoals bij scikit-learn-estimators
reg_stack.fit(X_train, y_train)
pred = reg_stack.predict(X_test)

Laten we mlxtend gebruiken!

Ensemblemethoden in Python