Sledování výkonu

Demystifikace rozhodovací vědy

Akshay Swaminathan

PD Soros Fellow at Stanford University School of Medicine

Výkon modelu

Různé modely, různé silné stránky

Jeden model lépe identifikuje, kdo pravděpodobně nesplatí závazek
Druhý lépe odhaduje, o jakou výši nesplácení může jít

Váhy

Který model je lepší? Záleží na cíli

Záleží vám více na odhalení rizikových zákazníků
Nebo na odhadu finančního dopadu nesplácení?

Metriky modelu

Různé metriky osvětlují různé aspekty výkonu

Běžně používané metriky hodnocení:

Přesnost (Accuracy)
Preciznost (Precision)
Úplnost (Recall)
F1-skóre
Plocha pod křivkou (AUC)
Střední absolutní chyba (MAE)
Střední absolutní procentuální chyba (MAPE)

Dashboard

Přesnost (Accuracy)

Celkový přehled o správnosti

Měří podíl správně klasifikovaných předpovědí
Funguje dobře při vyváženém rozložení tříd, např. spam vs not spam

Přesnost

Preciznost (Precision)

Kolik předpovězených pozitiv je skutečně správných

Důležité, když jsou falešná pozitiva nákladná
Nízká preciznost = označování legitimních transakcí jako fraudulent

Preciznost

Další metriky

Recall: zachycení skutečných pozitiv

Měří, jak dobře model nachází skutečná pozitiva
Důležité, když má zmeškání případu vysoké náklady (např. podvod, nemoc)

Plocha pod křivkou (AUC): míra separace tříd

Hodnotí, jak dobře model rozlišuje třídy
Nezávislé na konkrétním prahu

Regresní metriky: měření chyby předpovědí

Střední absolutní chyba (MAE): průměrná velikost chyb předpovědí
Střední procentuální chyba (MPE): odchylka předpovědí v procentech

Další metriky

Dashboardy jsou klíčové

Dashboardy přeměňují složité analýzy v přehledné, akční poznatky, které usnadňují rozhodování.

Dashboard

Základní principy

Znáte své publikum

Vedení chce přehledy
Analytici potřebují detaily

Zvýrazněte klíčové metriky

Zobrazujte pouze to nejdůležitější
Vyhněte se přeplněnosti a šumu

Používejte přehledné vizualizace

Sloupcové grafy pro srovnání, spojnicové pro trendy v čase
Jednoduché vizuály bývají nejúčinnější

Přehlednost

Další principy

Sledujte změny v čase

Monitorujte výkon modelu a drift příznaků
Trendy zasazují metriky do kontextu

Přidejte kontext, nejen čísla

Používejte stručné anotace k vysvětlení klíčových změn
Pomozte uživatelům pochopit, co se děje a proč

Testujte a iterujte

Sdílejte brzy a sbírejte zpětnou vazbu
Aktualizujte dashboardy podle vývoje modelů a potřeb

Iterace

Pojďme si procvičit!

Demystifikace rozhodovací vědy