Urmărirea performanței

Demistificarea științei decizionale

Akshay Swaminathan

PD Soros Fellow at Stanford University School of Medicine

Performanța modelului

Modele diferite, puncte forte diferite

  • Un model identifică mai bine clienții cu risc de neplată
  • Celălalt estimează mai bine suma cu care ar putea intra în neplată

  scales.png

Care model este mai bun? Depinde de obiectiv

  • Contează mai mult identificarea clienților cu risc
  • Sau estimarea impactului financiar al neplății
Demistificarea științei decizionale

Metrici pentru modele

Metricile diferite evidențiază aspecte diferite ale performanței

Metrici de evaluare frecvent utilizate:

  • Acuratețe
  • Precizie
  • Recall
  • F1-Score
  • Aria de sub curbă (AUC)
  • Eroarea absolută medie (MAE)
  • Eroarea absolută procentuală medie (MAPE)

  dashboard.png

Demistificarea științei decizionale

Acuratețe

 

Panoramă generală a corectitudinii

  • Măsoară procentul predicțiilor corecte ale modelului
  • Funcționează bine când clasele sunt echilibrate, ca spam vs not spam

acc.png

Precizie

 

Câte pozitive prezise sunt cu adevărat corecte

  • Important când fals pozitivele sunt costisitoare
  • Precizie scăzută = multe tranzacții legitime marcate ca fraudulent

precision.png

Demistificarea științei decizionale

Mai multe metrici

Recall: identificarea pozitivelor reale

  • Măsoară cât de bine găsește modelul pozitivele reale
  • Important când omiterea unui caz are cost ridicat (ex.: fraudă, boală)

Aria de sub curbă (AUC): separarea claselor

  • Evaluează cât de bine distinge modelul clasele
  • Nu depinde de un prag specific

Metrici de regresie: măsurarea erorii de predicție

  • Eroarea absolută medie (MAE): mărimea medie a erorilor de predicție
  • Eroarea procentuală medie (MPE): abaterea predicțiilor în termeni procentuali

 

moremetrics.png

Demistificarea științei decizionale

Tablourile de bord sunt esențiale

Tablourile de bord transformă analizele complexe în informații clare și acționabile, facilitând luarea deciziilor.

 

dahsboard2.gif

Demistificarea științei decizionale

Principii de bază

 

Cunoașteți-vă audiența

  • Directorii doresc rezumate
  • Analiștii au nevoie de detalii

 

Evidențiați metricile cheie

  • Afișați doar ce contează cu adevărat
  • Evitați aglomerarea și zgomotul

 

Folosiți vizualizări clare

  • Diagrame cu bare pentru comparații, diagrame liniare pentru tendințe
  • Vizualurile simple sunt adesea cele mai eficiente

  clear.png

Demistificarea științei decizionale

Mai multe principii

Urmăriți evoluția în timp

  • Monitorizați performanța modelului și deriva caracteristicilor
  • Tendințele oferă context metricilor

Adăugați context, nu doar cifre

  • Folosiți adnotări scurte pentru a explica schimbările importante
  • Ajutați utilizatorii să înțeleagă ce se întâmplă și de ce

Testați și îmbunătățiți

  • Partajați devreme și colectați feedback
  • Actualizați tablourile de bord pe măsură ce modelele și nevoile evoluează

iterate.png

Demistificarea științei decizionale

Să exersăm!

Demistificarea științei decizionale

Preparing Video For Download...