Metodi ensemble

Esercitarsi con le domande di colloquio di Machine Learning in Python

Lisa Stuart

Data Scientist

Tecniche di ensemble learning

Bootstrap Aggregation
Boosting
Stacking di modelli

Misura dell’errore

Alberi bassi

Alberi alti

Alberi larghi

Modello lineare

Bias

Assunzione di relazione lineare (errata)

Bias alto
Underfitting
Scarsa generalizzazione
Aumentare la complessità riduce il bias

Modello complesso

Varianza

Modelli molto complessi:

Varianza alta
Overfitting
Scarsa generalizzazione

Trade-off Bias-Varianza

¹ Fonte: The Elements of Statistical Learning di Trevor Hastie, Robert Tibshirani e Jerome Friedman

Bagging (Bootstrap aggregation)

Campioni bootstrappati
- Sottoinsiemi con ripetizione
- La stessa riga può essere scelta
Modello per ogni campione
Media delle uscite
Riduce la varianza

¹ https://medium.com/@rrfd/boosting-bagging-and-stacking-ensemble-methods-with-sklearn-and-mlens-a455c0c982de

Boosting

Più modelli in sequenza
Gli errori ricevono più peso
Riduce il bias

¹ https://blog.bigml.com/2017/03/14/introduction-to-boosted-trees/

Model stacking

Predizioni Modello 1
Predizioni Modello 2...
Predizioni Modello N
Stack per il modello più accurato
- Usa le predizioni dei modelli base (Modello N) come input al modello di 2° livello

¹ http://supunsetunga.blogspot.com/

Pacchetto Vecstack

# import modules
from sklearn.ensemble import BaggingClassifier
from sklearn.ensemble import AdaBoostClassifier
from xgboost import XGBClassifier
from vecstack import stacking

# Create list: stacked_models
stacked_models = [BaggingClassifier(n_estimators=25, random_state=123), AdaBoostClassifier(n_estimators=25, random_state=123)]

# Stack the models: stack_train, stack_test
stack_train, stack_test = stacking(stacked_models, X_train, y_train, X_test, regression=False, mode='oof_pred_bag', 
                                   needs_proba=False, metric=accuracy_score, n_folds=4, stratified=True, shuffle=True, random_state=0, verbose=2)

# Initialize and fit 2nd level model
final_model = XGBClassifier(random_state=123, n_jobs=-1, learning_rate=0.1, n_estimators=10, max_depth=3)
final_model_fit = final_model.fit(stack_train, y_train)

# Predict: stacked_pred
stacked_pred = final_model.predict(stack_test)

# Final prediction score
print('Final prediction score: [%.8f]' % accuracy_score(y_test, stacked_pred))

¹ https://towardsdatascience.com/automate-stacking-in-python-fc3e7834772e

Funzioni per ensemble

Algoritmo	Funzione
Bootstrap aggregation	`sklearn.ensemble.BaggingClassifier()`
Boosting	`sklearn.ensemble.AdaBoostClassifier()`
XGBoost	`xgboost.XGBClassifier()`

Bagging vs boosting

Tecnica	Bias	Varianza
Bootstrap aggregation (Bagging)	Aumenta	Diminuisce
Boosting	Diminuisce	Aumenta

Principali tecniche ensemble - MCQ

Quale delle seguenti affermazioni sui tre principali metodi ensemble nel Machine Learning è vera? Seleziona quella vera:

I metodi di boosting riducono la varianza del modello.
I metodi di boosting aumentano la capacità predittiva di un classificatore.
Il bagging (bootstrap aggregation) riduce il bias del modello.
Lo stacking combina le predizioni dei singoli modelli per ottenere un modello più accurato.

Principali tecniche ensemble: risposta

Quale delle seguenti affermazioni sui tre principali metodi ensemble nel Machine Learning è vera? La risposta corretta è:

Lo stacking combina le predizioni dei singoli modelli per ottenere un modello più accurato. (Il modello finale ottenuto dalle predizioni di più modelli quasi sempre supera i singoli.)

Principali tecniche ensemble: risposte errate

Quale delle seguenti affermazioni sui tre principali metodi ensemble nel Machine Learning è vera?

I metodi di boosting riducono la varianza del modello. (Il boosting riduce il bias e, allo stesso tempo, può aumentare la varianza per trovare il punto ottimale di generalizzazione.)
I metodi di boosting aumentano la capacità predittiva di un classificatore. (Il boosting riduce il bias; le prestazioni predittive possono o meno aumentare.)
Il bagging (bootstrap aggregation) riduce il bias del modello. (Il bagging riduce la varianza.)

Alleniamoci!

Esercitarsi con le domande di colloquio di Machine Learning in Python