Sfide nel monitorare i modelli ML

Concetti di Monitoring per il Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Componenti di un progetto di ML

Un diagramma di Venn con tre cerchi rappresenta l’ingegneria del software, l’analisi dei dati e il machine learning; l’intersezione dei tre rappresenta la data science.

Il modello non fa previsioni

Possibili problemi:

Barriere linguistiche: combinare più linguaggi con codice “collante”

Manutenzione del codice: incompatibilità tra dipendenze aggiornate

Scalabilità: infrastruttura non robusta per più utenti

Le previsioni del modello falliscono

Covariate shift

Cambia la distribuzione dell’input
Rilevabile con metodi statistici
Non ogni drift impatta le prestazioni

Un grafico di densità che confronta l’età dei clienti nei set di training e produzione mostra che il training è molto sbilanciato verso età basse. La produzione è simile ma con un picco a età più alte.

Concept drift

Cambia la relazione tra input e target
Difficile da rilevare
Quasi sempre impatta l’efficacia di business del modello

Esiste una relazione tra il customer lifetime value (CLV) e la feature di input Età sia nel training sia in produzione. Tuttavia, in produzione la relazione cambia: è un segnale di concept drift.

Disponibilità del ground truth

Immagine di un negozio di abbigliamento.

Ayo berlatih!

Concetti di Monitoring per il Machine Learning