Monitorare direttamente la performance tecnica

Concetti di Monitoring per il Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Relazione tra covariate shift e performance

Tre tipi di covariate shift:

Shift verso regioni specifiche
- più persone ad alto reddito che chiedono prestiti
Shift verso regioni sottorappresentate
- 10% di persone tech che chiedono prestiti invece dello 0,5% dei dati di training
Shift verso regioni incerte
- passaggio dal 20% al 40% di persone a medio reddito vicine al confine decisionale

-> Nessun impatto

-> Impatto sconosciuto

-> Impatto negativo

Impatto negativo garantito

Lo shift verso regioni incerte peggiora sempre la performance

La visualizzazione del periodo di training evidenzia l'area in cui il modello è meno certo. In produzione, però, ci sono più persone in questa area rispetto a prima.

Problema dei falsi avvisi

L'immagine mostra puntini che rappresentano avvisi e come quelli importanti possano perdersi quando ce ne sono troppi

L'importanza della performance tecnica

Metica diretta di quanto il modello svolge bene il compito

Riflette eventuali guasti silenziosi del modello

Riduce il sovraccarico di falsi avvisi

Le immagini mostrano una parte del diagramma di monitoraggio. "Monitoraggio della performance" nel primo riquadro; sotto, collegato con linea tratteggiata, un riquadro tratteggiato che chiede se il modello sta ancora performando; a destra un rombo con "degradazione della performance"; poi una freccia a destra con "sì" sopra; e una freccia che torna al riquadro di monitoraggio con "no" sopra.

Passiamo alla pratica!

Concetti di Monitoring per il Machine Learning