Ryzyka uczenia maszynowego

Uczenie maszynowe dla biznesu

Karolis Urbonas

Head of Machine Learning & Science, Amazon

Słaba wydajność

Niektóre modele działają słabo (weryfikować wydajność na zbiorze testowym, nie treningowym):

Niska precyzja
Niski recall
Duży błąd

Niska precyzja

Niska precyzja – wiele błędnie sklasyfikowanych obiektów w klasie docelowej = dużo fałszywych trafień

Przykład – tylko 10% klientów wskazanych jako potencjalni nabywcy faktycznie dokonało zakupu

Niski recall

Niski recall – model wykrył jedynie niewielką część obserwacji należących do danej klasy

Przykład – model zidentyfikował tylko 25% wszystkich fraudulentnych transakcji

Duży błąd

Duży błąd – znaczne różnice między wartościami przewidywanymi a rzeczywistymi

Przykład – średni błąd prognozowania oceny satysfakcji klienta wynosi 3,5 jednostki, czyli 70 punktów procentowych

Przypadki użycia modeli bez możliwości działania

P: Jak prawidłowo testować modele?

O: Przeprowadzać testy/eksperymenty weryfikujące ich działanie, np. e-maile zapobiegające odejściom klientów, promocje produktów, ręczna konserwacja maszyn, ręczna weryfikacja transakcji

Testy A/B

Co zrobić, gdy testy nie działają?

Pozyskanie większej ilości danych – wymagane zaangażowanie biznesu
Budowanie modeli przyczynowych w celu zrozumienia czynników
Przeprowadzenie badań jakościowych (ankiety itp.)
Zmiana zakresu problemu
- Zawężenie
- Rozszerzenie
- Inne pytanie

Czas na ćwiczenia!

Uczenie maszynowe dla biznesu