Modellutvärdering: obalanserade klassificeringsmodeller

Öva på maskininlärningsintervjufrågor i Python

Lisa Stuart

Data Scientist

Klassobalans

• Kategorisk målvariabel
  • Ungefär lika många observationer per klass
  • Stor skillnad --> missvisande resultat

Förvirringsmatris

¹ https://scaryscientist.blogspot.com/2016/03/confusion-matrix.html

Prestandamått

¹ https://scaryscientist.blogspot.com/2016/03/confusion-matrix.html

Mått från matrisen

¹ https://scaryscientist.blogspot.com/2016/03/confusion-matrix.html

Omsamplingstekniker

• Översampla minoritetsklassen
• Undersampla majoritetsklassen
• OBS: Dela upp i test- och träningsset INNAN omsampling!

¹ https://www.svds.com/learning-imbalanced-classes/

Funktioner

Funktion	returnerar
sklearn.linear_model.LogisticRegression	logistisk regression
sklearn.metrics.confusion_matrix(y_test,y_pred)	förvirringsmatris
sklearn.metrics.precision_score(y_test,y_pred)	precision
sklearn.metrics.recall_score(y_test,y_pred)	recall
sklearn.metrics.f1_score(y_test,y_pred)	f1-poäng
sklearn.utils.resample(deny, n_samples=len(approve))	omsamplar

Nu kör vi en övning!

Öva på maskininlärningsintervjufrågor i Python