Valutazione del modello: classificazione sbilanciata

Esercitarsi con le domande di colloquio di Machine Learning in Python

Lisa Stuart

Data Scientist

Squilibrio di classe

• Variabile target categoriale
  • N. osservazioni/classi circa uguale
  • Grande squilibrio -> risultati fuorvianti

Matrice di confusione

¹ https://scaryscientist.blogspot.com/2016/03/confusion-matrix.html

Metriche di performance

¹ https://scaryscientist.blogspot.com/2016/03/confusion-matrix.html

Metriche dalla matrice

¹ https://scaryscientist.blogspot.com/2016/03/confusion-matrix.html

Tecniche di resampling

• Oversampling della classe minoritaria
• Undersampling della classe maggioritaria
• NOTA: dividi in train e test PRIMA del resampling!

¹ https://www.svds.com/learning-imbalanced-classes/

Funzioni

Funzione	restituisce
sklearn.linear_model.LogisticRegression	regressione logistica
sklearn.metrics.confusion_matrix(y_test,y_pred)	matrice di confusione
sklearn.metrics.precision_score(y_test,y_pred)	precisione
sklearn.metrics.recall_score(y_test,y_pred)	richiamo
sklearn.metrics.f1_score(y_test,y_pred)	F1-score
sklearn.utils.resample(deny, n_samples=len(approve))	fa resampling

Alleniamoci!

Esercitarsi con le domande di colloquio di Machine Learning in Python