Monitorare le prestazioni

Svelare la Decision Science

Akshay Swaminathan

PD Soros Fellow at Stanford University School of Medicine

Prestazioni del modello

Modelli diversi, punti di forza diversi

Un modello identifica meglio chi rischia l’insolvenza
L’altro stima meglio l’importo dell’insolvenza

bilancia

Qual è il modello migliore? Dipende dall’obiettivo

Ti importa di più segnalare clienti rischiosi
O stimare l’impatto finanziario dell’insolvenza

Metriche del modello

Metriche diverse illuminano aspetti diversi delle prestazioni

Metriche di valutazione comuni:

Accuracy
Precision
Recall
F1-Score
Area Under the Curve (AUC)
Mean Absolute Error (MAE)
Mean Absolute Percent Error (MAPE)

dashboard

Accuracy

Panoramica della correttezza

Percentuale di previsioni corrette sul totale
Funziona bene con classi bilanciate, tipo spam vs not spam

accuratezza

Precision

Quanti positivi previsti sono davvero corretti

Importante quando i falsi positivi costano
Bassa precision = molte transazioni legittime segnalate come fraudulent

precisione

Altre metriche

Recall: cattura i veri positivi

Misura quanto bene il modello trova i positivi reali
Importante quando perdere un caso costa molto (es. frodi, malattie)

Area sotto la curva (AUC): separazione fra classi

Valuta quanto bene il modello distingue le classi
Non legata a una soglia specifica

Metriche di regressione: errore di previsione

Mean Absolute Error (MAE): dimensione media degli errori
Mean Percentage Error (MPE): scostamento in percentuale

altre metriche

Le dashboard sono cruciali

Le dashboard trasformano analisi complesse in insight chiari e azionabili, facilitando le decisioni.

dashboard animata

Principi base

Conosci il pubblico

I dirigenti vogliono sintesi
Gli analisti vogliono dettaglio

Evidenzia le metriche chiave

Mostra solo ciò che conta davvero
Evita disordine e rumore

Usa visualizzazioni chiare

Barre per confronti, linee per trend nel tempo
I grafici semplici funzionano meglio

chiaro

Altri principi

Monitora nel tempo

Tieni d’occhio prestazioni e drift delle feature
I trend danno contesto alle metriche

Aggiungi contesto, non solo numeri

Brevi note per spiegare i cambiamenti chiave
Aiuta a capire cosa succede e perché

Testa e itera

Condividi presto e raccogli feedback
Aggiorna le dashboard man mano che modelli e bisogni evolvono

itera

Ayo berlatih!

Svelare la Decision Science