Suivre la performance

Démystifier la Decision Science

Akshay Swaminathan

PD Soros Fellow at Stanford University School of Medicine

Performance du modèle

Modèles différents, forces différentes

L’un identifie mieux les profils susceptibles de défaut
L’autre estime mieux le montant potentiel du défaut

Balances

Quel est le meilleur modèle ? Cela dépend de l’objectif

Souhaitez-vous surtout signaler les clients à risque
Ou estimer l’impact financier du défaut

Métriques du modèle

Différentes métriques éclairent différents aspects de la performance

Métriques d’évaluation courantes :

Accuracy
Precision
Recall
F1-Score
Area Under the Curve (AUC)
Mean Absolute Error (MAE)
Mean Absolute Percent Error (MAPE)

Tableau de bord

Accuracy

Vue d’ensemble de la justesse

Pourcentage de prédictions correctes
Pertinent quand les classes sont équilibrées, comme spam vs not spam

Exactitude

Precision

Parmi les positifs prédits, combien sont corrects

Cruciale quand les faux positifs coûtent cher
Faible precision = trop d’opérations légitimes marquées fraudulent

Précision

Plus de métriques

Rappel : capter les vrais positifs

Mesure la capacité du modèle à trouver les positifs réels
Crucial quand rater un cas coûte cher (ex. fraude, maladie)

Aire sous la courbe (AUC) : séparation des classes

Évalue la capacité du modèle à distinguer les classes
Indépendante d’un seuil précis

Mesures de régression : erreur de prédiction

Mean Absolute Error (MAE) : taille moyenne des erreurs
Mean Percentage Error (MPE) : écart moyen en pourcentage

Plus de métriques

Les tableaux de bord sont essentiels

Les tableaux de bord transforment des analyses complexes en insights clairs et actionnables, facilitant la décision.

Tableau de bord animé

Principes de base

Connaître son public

Les dirigeants veulent des synthèses
Les analystes ont besoin de détails

Mettre en avant les métriques clés

Montrer seulement l’essentiel
Éviter l’encombrement et le bruit

Utiliser des visuels clairs

Barres pour comparer, lignes pour les tendances
Les visuels simples sont souvent les meilleurs

Visuel clair

Autres principes

Suivre l’évolution dans le temps

Surveiller la performance et la dérive des features
Les tendances donnent du contexte

Ajouter du contexte, pas que des chiffres

Brèves annotations pour expliquer les changements clés
Aider à comprendre ce qui se passe et pourquoi

Tester et itérer

Partager tôt et recueillir des retours
Mettre à jour selon l’évolution des modèles et besoins

Itérer

Passons à la pratique !

Démystifier la Decision Science