Měření výkonu modelu

Machine Learning pro byznys

Karolis Urbonas

Head of Machine Learning & Science, Amazon

Typy měření výkonu

Dvě klíčové metriky řízeného učení:

Přesnost --> klasifikace
Chyba --> regrese

Výkon klasifikace

Přesnost
Úplnost
Preciznost

Příklad odchodu zákazníků

Předpověď odchodu zákazníků

Chybně klasifikované položky

Jiná předpověď odchodu

Přesnost

acc

Preciznost

precision

Úplnost

recall

Výkon regrese

Chyba

Příklad regrese

Předpověď tržeb pomocí přímky

Chyba regrese

Testování nelineárních modelů

Zlepšení chyby

Využitelné modely – A/B testování

Dobré modely nejsou vždy využitelné:

Předpověď odchodu, nákupu nebo poruchy stroje

Otestujte, zda modely zlepšují výsledky:

Zákazníkům s předpovídaným odchodem nabídněte pobídky (slevy, kupóny, akce)

Zákazníkům s vysokou pravděpodobností nákupu zasílejte upomínky a detaily produktů

_Snížil se odchod zákazníků, vzrostla míra nákupů a ubylo poruch strojů? Pokud ano, zabudujte do automatizovaného procesu. Pokud ne, shromážděte více dat, vylepšete modely a testujte znovu. _

Pojďme si procvičit!

Machine Learning pro byznys