Leistung bewerten

Machine Learning verstehen

Hadrien Lacroix

Content Developer at DataCamp

Auswertungsschritt

Machine Learning verstehen

Overfitting

  • Hervorragende Leistung bei Trainingsdaten
  • Mangelhafte Leistung bei Testdaten
  • Das Modell hat sich Trainingsdaten gemerkt und kann das Gelernte nicht auf neue Daten verallgemeinern
  • Prüfe die Leistung des Modells mit einem Testdatensatz
Machine Learning verstehen

Veranschaulichung des Overfittings

Overfitting

Machine Learning verstehen

Genauigkeit

  • Genauigkeit = richtig klassifizierte Beobachtungen/alle Beobachtungen
  • 48/50 = 96 %

Linearer Klassifikator aus der ersten Lektion

Machine Learning verstehen

Die Grenzen der Genauigkeit: Beispiel Betrug

$$

Genauigkeit dieses Modells:

$$\frac{28\ richtig\ eingestuft}{30\ Punkte\ insgesamt}=93,33%$$

  • Erkennt die Mehrheit der betrügerischen Transaktionen nicht
  • Wir brauchen eine bessere Metrik
Machine Learning verstehen

Konfusionsmatrix

Konfusionsmatrix

Machine Learning verstehen

Richtig-positive

Machine Learning verstehen

Richtig-positive

Machine Learning verstehen

Falsch-negative

Machine Learning verstehen

Falsch-negative

Machine Learning verstehen

An Falsch-negative erinnern

fp.jpg

Machine Learning verstehen

Rest ausfüllen...

Machine Learning verstehen

Falsch-positive, Richtig-negative

Machine Learning verstehen

An Falsch-positive erinnern

fn2.jpg

Machine Learning verstehen

Empfindlichkeit

Wie viele betrügerische Transaktionen haben wir richtig klassifiziert?

$$Sensitivity = \frac{true\ positives}{true\ positives + false\ negatives} =1/3=33.33\% $$

  • Lieber legitime Transaktionen als verdächtig markieren, als betrügerische Transaktionen zu genehmigen
Machine Learning verstehen

Spezifität

$$Specificity = \frac{true\ negatives}{true\ negatives + false\ positives}$$

Spam-Filter:

  • Lieber Spam in den Posteingang schicken als echte E-Mails in den Spam-Ordner
Machine Learning verstehen

Regression auswerten

Machine Learning verstehen

Regression auswerten

  • Fehler = Abstand zwischen Punkt (tatsächlicher Wert) und Linie (vorhergesagter Wert)
  • Es gibt viele Möglichkeiten, dies zu berechnen, z. B. den mittleren quadratischen Fehler
Machine Learning verstehen

Unüberwachtes Lernen

Wähle dein eigenes Abenteuer

1 https://www.flickr.com/photos/micahdowty/8540188997
Machine Learning verstehen

Lass uns üben!

Machine Learning verstehen

Preparing Video For Download...