Följa upp prestanda

Beslutsvetenskap på djupet

Akshay Swaminathan

PD Soros Fellow at Stanford University School of Medicine

Modellprestanda

Olika modeller, olika styrkor

  • En modell är bättre på att identifiera vem som riskerar att misslyckas med betalningar
  • Den andra är bättre på att uppskatta hur stora betalningsproblemen kan bli

  scales.png

Vilken modell är bäst? Det beror på målet

  • Är det viktigast att flagga riskabla kunder
  • Eller att uppskatta den ekonomiska effekten av betalningsproblem
Beslutsvetenskap på djupet

Modellmätvärden

Olika mätvärden belyser olika aspekter av prestanda

Vanliga utvärderingsmätvärden:

  • Accuracy
  • Precision
  • Recall
  • F1-Score
  • Area Under the Curve (AUC)
  • Mean Absolute Error (MAE)
  • Mean Absolute Percent Error (MAPE)

  dashboard.png

Beslutsvetenskap på djupet

Accuracy

 

Övergripande bild av korrekthet

  • Mäter andelen förutsägelser som modellen fick rätt
  • Fungerar bra när klasserna är balanserade, t.ex. spam vs not spam

acc.png

Precision

 

Hur många förutsagda positiva är faktiskt korrekta

  • Viktigt när falska positiva är kostsamma
  • Låg precision = många legitima transaktioner flaggas som fraudulent

precision.png

Beslutsvetenskap på djupet

Fler mätvärden

Recall: hitta de sanna positiva

  • Mäter hur väl modellen hittar faktiska positiva fall
  • Viktigt när ett missat fall är kostsamt (t.ex. bedrägeri, sjukdom)

Area under the curve (AUC): mått på klasseparation

  • Utvärderar hur väl modellen skiljer klasser åt
  • Inte kopplat till ett specifikt tröskelvärde

Regressionsmätvärden: mäta förutsägelsefel

  • Mean Absolute Error (MAE): genomsnittlig storlek på förutsägelsefelen
  • Mean Percentage Error (MPE): hur fel förutsägelserna är i procenttermer

 

moremetrics.png

Beslutsvetenskap på djupet

Dashboards är viktiga

Dashboards omvandlar komplexa analyser till tydliga, användbara insikter som underlättar beslutsfattande.

 

dahsboard2.gif

Beslutsvetenskap på djupet

Grundläggande principer

 

Känn din målgrupp

  • Chefer vill ha sammanfattningar
  • Analytiker behöver detaljer

 

Lyft fram nyckeltal

  • Visa bara det som är viktigast
  • Undvik brus och röriga visualiseringar

 

Använd tydliga visualiseringar

  • Stapeldiagram för jämförelser, linjediagram för trender över tid
  • Enkla visualiseringar fungerar ofta bäst

  clear.png

Beslutsvetenskap på djupet

Fler principer

Följ förändringar över tid

  • Övervaka modellprestanda och särdragsdrift
  • Trender ger sammanhang till mätvärdena

Lägg till kontext, inte bara siffror

  • Använd korta anteckningar för att förklara viktiga förändringar
  • Hjälp användarna förstå vad som händer och varför

Testa och iterera

  • Dela tidigt och samla in feedback
  • Uppdatera dashboards när modeller och behov förändras

iterate.png

Beslutsvetenskap på djupet

Nu kör vi en övning!

Beslutsvetenskap på djupet

Preparing Video For Download...