Mierzenie wydajności modelu

Uczenie maszynowe dla biznesu

Karolis Urbonas

Head of Machine Learning & Science, Amazon

Rodzaje miar wydajności

Dwie kluczowe metryki uczenia nadzorowanego:

  1. Dokładność --> klasyfikacja
  2. Błąd --> regresja
Uczenie maszynowe dla biznesu

Wydajność klasyfikacji

  • Dokładność

  • Czułość

  • Precyzja

Uczenie maszynowe dla biznesu

Przykład rezygnacji

c1

Uczenie maszynowe dla biznesu

Przykład rezygnacji

c2

Uczenie maszynowe dla biznesu

Prognozowanie rezygnacji

c3

Uczenie maszynowe dla biznesu

Błędnie sklasyfikowane elementy

c4

Uczenie maszynowe dla biznesu

Kolejna prognoza rezygnacji

c5

Uczenie maszynowe dla biznesu

Dokładność

acc

Uczenie maszynowe dla biznesu

Precyzja

precision

Uczenie maszynowe dla biznesu

Czułość

recall

Uczenie maszynowe dla biznesu

Wydajność regresji

  • Błąd
Uczenie maszynowe dla biznesu

Przykład regresji

r1

Uczenie maszynowe dla biznesu

Prognozowanie przychodu linią

r2

Uczenie maszynowe dla biznesu

Błąd regresji

r3

Uczenie maszynowe dla biznesu

Testowanie modeli nieliniowych

r4

Uczenie maszynowe dla biznesu

Poprawa błędu

r5

Uczenie maszynowe dla biznesu

Modele w praktyce – testy A/B

Dobre modele nie zawsze są użyteczne w działaniu:

Prognozowanie rezygnacji, zakupów, awarii maszyn

Sprawdź, czy modele poprawiają wyniki:

Kieruj do klientów zagrożonych rezygnacją oferty z zachętami (rabaty, kupony, promocje)

Wysyłaj przypomnienia i informacje o produktach do klientów skłonnych do zakupu

Czy zmniejszyła się rezygnacja, wzrosła sprzedaż i zmalały awarie? Jeśli tak, wbuduj w proces automatyczny. Jeśli nie, zbierz więcej danych, ulepsz modele i przetestuj ponownie.

Uczenie maszynowe dla biznesu

Czas na ćwiczenia!

Uczenie maszynowe dla biznesu

Preparing Video For Download...