Rizika strojového učení

Machine Learning pro byznys

Karolis Urbonas

Head of Machine Learning & Science, Amazon

Slabý výkon

Některé modely podávají slabý výkon (sledujte výkon na testovací sadě, nikoli na tréninkové):

Nízká přesnost (precision)
Nízká úplnost (recall)
Velká chyba

Nízká přesnost (precision)

Nízká přesnost (precision) – mnoho chybně zařazených položek do cílové třídy = mnoho falešně pozitivních výsledků

Příklad – pouze 10 % zákazníků označených jako potenciální kupující skutečně produkt zakoupilo

Nízká úplnost (recall)

Nízká úplnost (recall) – model zachytil pouze malou část všech skutečných pozorování cílové třídy

Příklad – model identifikoval pouze 25 % všech podvodných transakcí

Velká chyba

Velká chyba – velký rozdíl mezi předpovězenými a skutečnými hodnotami

Příklad – průměrná chyba při předpovědi hodnocení spokojenosti zákazníka je 3,5 jednotky, tj. 70 procentních bodů

Případy použití modelu bez měřitelného dopadu

Otázka: Jak správně testovat modely?

Odpověď: Spustit testy/experimenty k ověření výkonu, např. e-maily k prevenci odchodu zákazníků, produktové akce, manuální údržba strojů, ruční kontrola transakcí

A/B testování

Co dělat, když testy nefungují?

Získat více dat – nutná součinnost s byznysem
Vytvořit kauzální modely pro pochopení příčin
Provést kvalitativní výzkum (průzkumy apod.)
Změnit rozsah problému
- Zúžit
- Rozšířit
- Jiná otázka

Pojďme si procvičit!

Machine Learning pro byznys