Suivre la performance

Démystifier la decision science

Akshay Swaminathan

PD Soros Fellow at Stanford University School of Medicine

Performance du modèle

Différents modèles, forces différentes

  • L'un repère mieux qui risque de faire défaut
  • L'autre estime mieux l'ampleur possible du défaut

  scales.png

Quel modèle est le meilleur ? Ça dépend de l'objectif

  • Souhaitez-vous surtout signaler les clients à risque
  • Ou estimer l'impact financier d'un défaut
Démystifier la decision science

Mesures du modèle

Des mesures différentes éclairent des facettes différentes de la performance

Mesures d'évaluation courantes :

  • Exactitude
  • Précision
  • Rappel
  • Score F1
  • Aire sous la courbe (AUC)
  • Erreur absolue moyenne (MAE)
  • Pourcentage d'erreur absolue moyen (MAPE)

  dashboard.png

Démystifier la decision science

Exactitude

 

Vue d'ensemble de la justesse

  • Mesure le pourcentage de prédictions correctes
  • Pertinent quand les classes sont équilibrées, p. ex. spam vs not spam

acc.png

Précision

 

Parmi les positifs prédits, combien sont justes ?

  • Cruciale si les faux positifs coûtent cher
  • Faible précision = signaler beaucoup d'opérations légitimes comme fraudulent

precision.png

Démystifier la decision science

Autres mesures

Rappel : capter les vrais positifs

  • Mesure la capacité à trouver les vrais positifs
  • Important quand manquer un cas coûte cher (p. ex. fraude, maladie)

Aire sous la courbe (AUC) : mesure de séparation des classes

  • Évalue la capacité à distinguer les classes
  • Indépendante d'un seuil précis

Mesures de régression : quantifier l'erreur de prédiction

  • Erreur absolue moyenne (MAE) : taille moyenne des erreurs
  • Pourcentage d'erreur moyen (MPE) : écart moyen en pourcentage

 

moremetrics.png

Démystifier la decision science

Les tableaux de bord sont essentiels

Les tableaux de bord transforment des analyses complexes en informations claires et exploitables, pour faciliter la décision.

 

dahsboard2.gif

Démystifier la decision science

Principes de base

 

Connaissez votre public

  • Les dirigeants veulent des résumés
  • Les analystes ont besoin de détails

 

Mettez en avant les mesures clés

  • N'affichez que l'essentiel
  • Évitez l'encombrement et le bruit

 

Utilisez des visuels clairs

  • Diagrammes à bandes pour comparer, courbes pour les tendances
  • Les visuels simples gagnent souvent

  clear.png

Démystifier la decision science

Autres principes

Suivez l'évolution dans le temps

  • Surveillez la performance et la dérive des caractéristiques
  • Les tendances donnent du contexte

Ajoutez du contexte, pas que des chiffres

  • Utilisez de brèves annotations pour expliquer les virages clés
  • Aidez à comprendre ce qui se passe et pourquoi

Tester et itérer

  • Partagez tôt et récoltez de la rétroaction
  • Mettez à jour selon l'évolution des modèles et des besoins

iterate.png

Démystifier la decision science

Passons à la pratique !

Démystifier la decision science

Preparing Video For Download...