Ocena modelu: niezbalansowana klasyfikacja

Ćwiczenie pytań rekrutacyjnych z uczenia maszynowego w Pythonie

Lisa Stuart

Data Scientist

Niezbalansowanie klas

• Kategoryczna zmienna docelowa
  • Zbliżona liczba obserwacji na klasę
  • Duże różnice --> mylące wyniki

Macierz pomyłek

¹ https://scaryscientist.blogspot.com/2016/03/confusion-matrix.html

Miary wydajności

¹ https://scaryscientist.blogspot.com/2016/03/confusion-matrix.html

Miary z macierzy

¹ https://scaryscientist.blogspot.com/2016/03/confusion-matrix.html

Techniki próbkowania

• Nadpróbkowanie klasy mniejszościowej
• Podpróbkowanie klasy większościowej
• UWAGA: Podział na zbiory testowy i treningowy PRZED próbkowaniem!

¹ https://www.svds.com/learning-imbalanced-classes/

Funkcje

Funkcja	zwraca
sklearn.linear_model.LogisticRegression	regresja logistyczna
sklearn.metrics.confusion_matrix(y_test,y_pred)	macierz pomyłek
sklearn.metrics.precision_score(y_test,y_pred)	precyzja
sklearn.metrics.recall_score(y_test,y_pred)	czułość
sklearn.metrics.f1_score(y_test,y_pred)	miara F1
sklearn.utils.resample(deny, n_samples=len(approve))	próbkowanie

Czas na ćwiczenia!

Ćwiczenie pytań rekrutacyjnych z uczenia maszynowego w Pythonie