Ocena wydajności

Wprowadzenie do uczenia maszynowego

Hadrien Lacroix

Content Developer at DataCamp

Krok: ocena

Wprowadzenie do uczenia maszynowego

Przeuczenie

  • Działa świetnie na danych treningowych
  • Działa słabo na danych testowych
  • Model zapamiętał dane treningowe i nie potrafi generalizować wiedzy na nowe dane
  • Użyj zestawu testowego, aby sprawdzić wydajność modelu
Wprowadzenie do uczenia maszynowego

Ilustracja przeuczenia

przeuczenie

Wprowadzenie do uczenia maszynowego

Dokładność

  • Dokładność = obserwacje poprawnie sklasyfikowane / wszystkie obserwacje
  • 48 / 50 = 96%

liniowy klasyfikator z pierwszej lekcji

Wprowadzenie do uczenia maszynowego

Ograniczenia dokładności: przykład oszustwa

$$

Dokładność modelu:

$$\frac{28\ poprawnie\ sklasyfikowanych}{30\ punktów\ łącznie}=93{,}33\%$$

  • Pomija większość oszukańczych transakcji
  • Potrzebna lepsza metryka
Wprowadzenie do uczenia maszynowego

Macierz pomyłek

macierz pomyłek

Wprowadzenie do uczenia maszynowego

Prawdziwie pozytywne

Wprowadzenie do uczenia maszynowego

Prawdziwie pozytywne

Wprowadzenie do uczenia maszynowego

Fałszywie negatywne

Wprowadzenie do uczenia maszynowego

Fałszywie negatywne

Wprowadzenie do uczenia maszynowego

Zapamiętywanie fałszywie negatywnych

fp.jpg

Wprowadzenie do uczenia maszynowego

Uzupełnij resztę...

Wprowadzenie do uczenia maszynowego

Fałszywie pozytywne, prawdziwie negatywne

Wprowadzenie do uczenia maszynowego

Zapamiętywanie fałszywie pozytywnych

fn2.jpg

Wprowadzenie do uczenia maszynowego

Czułość

Ile oszukańczych transakcji sklasyfikowano poprawnie?

$$Sensitivity = \frac{true\ positives}{true\ positives + false\ negatives} =1/3=33{,}33\% $$

  • Lepiej oznaczyć legalną transakcję jako podejrzaną niż zatwierdzić oszukańczą
Wprowadzenie do uczenia maszynowego

Swoistość

$$Specificity = \frac{true\ negatives}{true\ negatives + false\ positives}$$

Filtr spamu:

  • Lepiej dostarczyć spam do skrzynki niż przenieść prawdziwy e-mail do folderu spam
Wprowadzenie do uczenia maszynowego

Ocena regresji

Wprowadzenie do uczenia maszynowego

Ocena regresji

  • Błąd = odległość między punktem (wartość rzeczywista) a linią (wartość przewidywana)
  • Wiele sposobów obliczenia, np. pierwiastek błędu średniokwadratowego
Wprowadzenie do uczenia maszynowego

Uczenie nienadzorowane

wybierz własną przygodę

1 https://www.flickr.com/photos/micahdowty/8540188997
Wprowadzenie do uczenia maszynowego

Czas na ćwiczenia!

Wprowadzenie do uczenia maszynowego

Preparing Video For Download...