Śledzenie wydajności

Odczarowanie nauki o decyzjach

Akshay Swaminathan

PD Soros Fellow at Stanford University School of Medicine

Wydajność modelu

Różne modele, różne zalety

Jeden model lepiej identyfikuje osoby skłonne do niewywiązania się
Drugi lepiej szacuje wielkość potencjalnego niewywiązania się

Wagi

Który model jest lepszy? To zależy od celu

Czy ważniejsze jest oznaczanie ryzykownych klientów
Czy szacowanie finansowych skutków niewywiązania się

Metryki modelu

Różne metryki oświetlają różne aspekty wydajności

Najczęściej stosowane metryki ewaluacji:

Dokładność (Accuracy)
Precyzja (Precision)
Czułość (Recall)
F1-Score
Pole pod krzywą (AUC)
Średni błąd bezwzględny (MAE)
Średni bezwzględny błąd procentowy (MAPE)

Dashboard

Dokładność

Ogólny przegląd poprawności

Mierzy odsetek wszystkich poprawnych predykcji modelu
Sprawdza się, gdy klasy są zrównoważone, np. spam vs not spam

Dokładność

Precyzja

Ile przewidzianych pozytywów jest faktycznie poprawnych

Ważna, gdy fałszywe pozytywy są kosztowne
Niska precyzja = oznaczanie wielu legalnych transakcji jako fraudulent

Precyzja

Więcej metryk

Czułość: wykrywanie prawdziwych pozytywów

Mierzy, jak dobrze model znajduje rzeczywiste pozytywy
Ważna, gdy pominięcie przypadku jest kosztowne (np. oszustwo, choroba)

Pole pod krzywą (AUC): miara separacji klas

Ocenia, jak dobrze model rozróżnia klasy
Niezależna od konkretnego progu

Metryki regresji: mierzenie błędu predykcji

Średni błąd bezwzględny (MAE): średnia wielkość błędów predykcji
Średni błąd procentowy (MPE): odchylenie predykcji wyrażone w procentach

Więcej metryk

Dashboardy są kluczowe

Dashboardy przekształcają złożone analizy w przejrzyste, przydatne informacje, ułatwiając podejmowanie decyzji.

Przykładowy dashboard

Podstawowe zasady

Znaj swoich odbiorców

Kierownictwo potrzebuje podsumowań
Analitycy potrzebują szczegółów

Eksponuj kluczowe metryki

Pokazuj tylko to, co najważniejsze
Unikaj zbędnych informacji

Stosuj czytelne wizualizacje

Wykresy słupkowe do porównań, liniowe do trendów w czasie
Proste wizualizacje często sprawdzają się najlepiej

Czytelna wizualizacja

Więcej zasad

Śledź zmiany w czasie

Monitoruj wydajność modelu i dryf cech
Trendy nadają kontekst metrykom

Dodawaj kontekst, nie tylko liczby

Stosuj krótkie adnotacje wyjaśniające kluczowe zmiany
Pomagaj użytkownikom zrozumieć, co się dzieje i dlaczego

Testuj i iteruj

Udostępniaj wcześnie i zbieraj informacje zwrotne
Aktualizuj dashboardy w miarę rozwoju modeli i potrzeb

Iteracja

Czas na ćwiczenia!

Odczarowanie nauki o decyzjach