Risiken beim maschinellen Lernen

Maschinelles Lernen für Unternehmen

Karolis Urbonas

Head of Machine Learning & Science, Amazon

Schlechte Leistung

Einige Modelle weisen schlechte Leistung auf (schau auf die Testleistung, nicht die Trainingsleistung):

Geringe Präzision
Geringe Sensitivität
Große Fehler

Geringe Präzision

Geringe Präzision – viele falsch klassifizierte Elemente in der relevanten Klasse = viele falsch-positive Vorhersagen

Beispiel: nur 10 % der Personen, für die hohe Kaufwahrscheinlichkeit vorhergesagt wurde, haben Produkt gekauft

Geringe Sensitivität

Geringe Sensitivität – nur kleiner Teil aller Beobachtungen in der Klasse wurde vom Modell richtig erfasst

Beispiel: nur 25 % aller betrügerischen Transaktionen wurden vom Modell erkannt

Große Fehler

Großer Fehler – große Unterschiede zwischen den vorhergesagten und den tatsächlichen Werten

Beispiel: durchschnittlicher Fehler bei der Vorhersage der Kundenzufriedenheit liegt bei 3,5 Punkten oder 70 %

Nicht umsetzbare Modellanwendungsfälle

Frage: Wie testet man die Modelle richtig?

Antwort: Tests/Experimente durchführen, um ihre Leistung zu bewerten, z. B. E-Mails zur Kundenbindung, Produktwerbung, manuelle Maschinenwartung, manuelle Transaktionsüberprüfung

A/B-Tests

abtest

Was, wenn die Tests nicht funktionieren?

Mehr Daten sammeln – Unternehmen muss einbezogen werden
Kausalmodelle entwickeln, um die Einflussfaktoren zu verstehen
Qualitative Untersuchungen (Umfragen usw.) durchführen
Umfang des Problems ändern
- Eingrenzen
- Ausweiten
- Andere Fragestellung

Lass uns üben!

Maschinelles Lernen für Unternehmen