Messung der Modellleistung

Maschinelles Lernen für Unternehmen

Karolis Urbonas

Head of Machine Learning & Science, Amazon

Arten der Leistungsmessung

Zwei wichtige Kennzahlen für überwachtes Lernen:

Genauigkeit --> Klassifikation
Fehler --> Regression

Leistung des Modells bei der Klassifikation

Genauigkeit
Sensitivität
Präzision

Beispiel: Abwanderung

Vorhersage Abwanderung

Falsch klassifizierte Punkte

Noch eine Vorhersage zur Abwanderung

Genauigkeit

acc

Präzision

precision

Sensitivität

recall

Leistung des Modells bei der Regression

Fehler

Beispiel für Regression

Vorhersage des Umsatzes anhand einer Linie

Regressionsfehler

Testen nichtlinearer Modelle

Fehlerbehebungen

Praktisch anwendbare Modelle – A/B-Tests

Gute Modelle sind nicht immer praktisch anwendbar:

Vorhersage von Abwanderung, Käufen, Maschinenausfällen

Testen, ob Verwendung der Modelle die Ergebnisse verbessert:

Personen, für die eine Abwanderung vorhergesagt wurde, mit Anreizen ansprechen (Rabatte, Gutscheine, Sonderangebote)

Erinnerungs-E-Mails und Produktinfos an Personen schicken, die wahrscheinlich etwas kaufen werden

Hat das zu weniger Kundenabwanderung, mehr Käufen und weniger Maschinenausfällen geführt? Wenn ja, dann in automatisierten Produktivbetrieb überführen; Wenn nicht, dann mehr Daten sammeln, Modelle verbessern und erneut testen

Lass uns üben!

Maschinelles Lernen für Unternehmen