Cos'è il concept drift?

Concetti di Monitoring per il Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Definizione

Cambiamento nella relazione tra input del modello e target

$P(Y|X)$ cambia, $P(X)$ resta uguale

L'immagine mostra un cambiamento nella relazione tra reddito ed età in produzione rispetto all'ambiente di training.

Perché avviene il drift?

Eventi esterni
- trend virali, cambi di policy
Stagionalità non modellata
- es. nel forecast della domanda: Black Friday o Natale
Cambi nel processo di generazione dati
- nuovo aggiornamento dell'app di raccolta dati
Comportamenti utente in evoluzione
- abitudini, pattern, preferenze cambiano di continuo

Le dinamiche del concept drift

Drift improvviso: un nuovo concetto compare in poco tempo

Drift graduale: un nuovo concetto rimpiazza gradualmente il vecchio

Ricorrente: un vecchio concetto riappare nel tempo

Immagine con la scritta Covid-19.

Immagine con banconote americane.

Immagine con poster -50% di sconto per il Black Friday.

Effetti del covariate shift sul concept drift

Negativo
- l'effetto del concept drift diminuisce

Positivo
- l'effetto del concept drift si intensifica

L'immagine illustra uno spostamento delle covariate tra training e produzione. In particolare, la feature reddito è passata da 80k/anno a 100k/anno. Nel secondo grafico, l'immagine mostra concept drift: cambia la relazione tra reddito e default del prestito previsto. Ne risulta una maggiore probabilità di default per richiedenti con redditi più bassi.

L'immagine illustra uno spostamento delle covariate tra training e produzione. In particolare, la feature reddito è passata da 80k/anno a 60k/anno. Nel secondo grafico, l'immagine mostra concept drift: cambia la relazione tra reddito e default del prestito previsto. Ne risulta una maggiore probabilità di default per richiedenti con redditi più bassi.

Passiamo alla pratica !

Concetti di Monitoring per il Machine Learning