Prestaties bijhouden

De mystiek van Decision Science ontrafeld

Akshay Swaminathan

PD Soros Fellow at Stanford University School of Medicine

Modelprestatie

Andere modellen, andere sterke punten

  • Het ene model herkent beter wie waarschijnlijk in gebreke blijft
  • Het andere schat beter hoeveel ze mogelijk in gebreke blijven

  weegschalen.png

Welk model is beter? Hangt af van het doel

  • Gaat het je vooral om risicoklanten signaleren
  • Of om de financiële impact van wanbetaling schatten
De mystiek van Decision Science ontrafeld

Modelmetrics

Verschillende metrics belichten verschillende kanten van prestatie

Veelgebruikte evaluatiemetrics:

  • Accuracy
  • Precision
  • Recall
  • F1-score
  • Area Under the Curve (AUC)
  • Mean Absolute Error (MAE)
  • Mean Absolute Percent Error (MAPE)

  dashboard.png

De mystiek van Decision Science ontrafeld

Accuracy

 

Globaal beeld van correctheid

  • Percentage voorspellingen dat het model goed had
  • Werkt goed bij gebalanceerde klassen, zoals spam vs not spam

acc.png

Precision

 

Hoeveel voorspelde positieven zijn echt juist

  • Belangrijk als false positives duur zijn
  • Lage precision = veel legitieme transacties als fraudulent vlaggen

precision.png

De mystiek van Decision Science ontrafeld

Meer metrics

Recall: vang de true positives

  • Meet hoe goed het model echte positieven vindt
  • Belangrijk als missen duur is (bv. fraude, ziekte)

Area under the curve (AUC): klassenscheiding

  • Beoordeelt hoe goed het model klassen onderscheidt
  • Niet gebonden aan een specifieke drempel

Regressiemetrics: voorspellingsfout meten

  • Mean Absolute Error (MAE): gemiddelde foutgrootte
  • Mean Percentage Error (MPE): afwijking in procenten

 

Meer metrics

De mystiek van Decision Science ontrafeld

Dashboards zijn cruciaal

Dashboards maken complexe analyses helder en actiegericht, zodat je makkelijker beslissingen stuurt.

 

Dashboard animatie

De mystiek van Decision Science ontrafeld

Basisprincipes

 

Ken je publiek

  • Managers willen samenvattingen
  • Analisten willen details

 

Benadruk kerncijfers

  • Toon alleen wat echt telt
  • Vermijd rommel en ruis

 

Gebruik duidelijke visualisaties

  • Staafdiagram voor vergelijkingen, lijndiagram voor trends
  • Eenvoud werkt vaak het best

  duidelijk.png

De mystiek van Decision Science ontrafeld

Meer principes

Volg verandering in de tijd

  • Monitor modelprestatie en feature drift
  • Trends geven context aan metrics

Geef context, niet alleen cijfers

  • Gebruik korte annotaties voor belangrijke verschuivingen
  • Help gebruikers te snappen wat en waarom

Test en itereren

  • Deel vroeg en haal feedback op
  • Update dashboards als modellen en behoeften evolueren

Itereren

De mystiek van Decision Science ontrafeld

Laten we oefenen!

De mystiek van Decision Science ontrafeld

Preparing Video For Download...