Méthodes d'ensemble

S’entraîner aux questions d’entretien en Machine Learning avec Python

Lisa Stuart

Data Scientist

Techniques d'ensemble learning

Bootstrap Aggregation
Boosting
Empilement de modèles

Mesure de l'erreur

Arbres peu profonds

Arbres profonds

Arbres larges

Modèle linéaire

Biais

Hypothèse de relation linéaire (fausse)

Biais élevé
Sous-ajustement
Mauvaise généralisation
Plus de complexité ↓ biais

Modèle complexe

Variance

Modèles très complexes :

Forte variance
Surapprentissage
Mauvaise généralisation

Compromis biais–variance

¹ Source : Elements of Statistical Learning, Trevor Hastie, Robert Tibshirani et Jerome Friedman

Bagging (Bootstrap aggregation)

Échantillons bootstrapés
- Sous-ensemble tiré avec remise
- La même ligne peut être choisie
Un modèle par échantillon
Moyenne des prédictions
Réduit la variance

¹ https://medium.com/@rrfd/boosting-bagging-and-stacking-ensemble-methods-with-sklearn-and-mlens-a455c0c982de

Boosting

Plusieurs modèles en séquence
Pondération des erreurs
Réduit le biais

¹ https://blog.bigml.com/2017/03/14/introduction-to-boosted-trees/

Empilement de modèles

Prédictions du Modèle 1
Prédictions du Modèle 2...
Prédictions du Modèle N
Empiler pour une précision maximale
- Utilise les prédictions des modèles de base (Modèle N) comme entrée d'un modèle de niveau 2

¹ http://supunsetunga.blogspot.com/

Package Vecstack

# import modules
from sklearn.ensemble import BaggingClassifier
from sklearn.ensemble import AdaBoostClassifier
from xgboost import XGBClassifier
from vecstack import stacking

# Create list: stacked_models
stacked_models = [BaggingClassifier(n_estimators=25, random_state=123), AdaBoostClassifier(n_estimators=25, random_state=123)]

# Stack the models: stack_train, stack_test
stack_train, stack_test = stacking(stacked_models, X_train, y_train, X_test, regression=False, mode='oof_pred_bag', 
                                   needs_proba=False, metric=accuracy_score, n_folds=4, stratified=True, shuffle=True, random_state=0, verbose=2)

# Initialize and fit 2nd level model
final_model = XGBClassifier(random_state=123, n_jobs=-1, learning_rate=0.1, n_estimators=10, max_depth=3)
final_model_fit = final_model.fit(stack_train, y_train)

# Predict: stacked_pred
stacked_pred = final_model.predict(stack_test)

# Final prediction score
print('Final prediction score: [%.8f]' % accuracy_score(y_test, stacked_pred))

¹ https://towardsdatascience.com/automate-stacking-in-python-fc3e7834772e

Fonctions d'ensemble

Algorithme	Fonction
Bootstrap aggregation	`sklearn.ensemble.BaggingClassifier()`
Boosting	`sklearn.ensemble.AdaBoostClassifier()`
XGBoost	`xgboost.XGBClassifier()`

Bagging vs boosting

Technique	Biais	Variance
Bootstrap aggregation (Bagging)	Augmente	Diminue
Boosting	Diminue	Augmente

Principales techniques d'ensemble : QCM

Laquelle des affirmations suivantes est vraie à propos des trois principales techniques des méthodes d'ensemble en Machine Learning ? Sélectionnez l'affirmation vraie :

Les méthodes de boosting diminuent la variance du modèle.
Les méthodes de boosting augmentent les capacités prédictives d'un classifieur.
Le bootstrap aggregation, ou bagging, diminue le biais du modèle.
L'empilement de modèles combine les prédictions de modèles individuels pour créer un modèle plus précis.

Principales techniques d'ensemble : réponse

Laquelle des affirmations suivantes est vraie à propos des trois principales techniques des méthodes d'ensemble en Machine Learning ? La bonne réponse est :

L'empilement de modèles combine les prédictions de modèles individuels pour créer un modèle plus précis. (Le modèle final issu des prédictions de plusieurs modèles individuels surpasse presque toujours chacun d'eux.)

Principales techniques d'ensemble : réponses incorrectes

Laquelle des affirmations suivantes est vraie à propos des trois principales techniques des méthodes d'ensemble en Machine Learning ?

Les méthodes de boosting diminuent la variance du modèle. (Le boosting diminue le biais, ce qui, en parallèle, peut augmenter la variance pour atteindre le point d'équilibre d'une meilleure généralisation.)
Les méthodes de boosting augmentent les capacités prédictives d'un classifieur. (Le boosting diminue le biais ; les capacités prédictives peuvent ou non s'en trouver accrues.)
Le bootstrap aggregation, ou bagging, diminue le biais du modèle. (Le bagging diminue la variance.)

Passons à la pratique !

S’entraîner aux questions d’entretien en Machine Learning avec Python