Cos'è il concept drift?

Concetti di Monitoring per il Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Definizione

  • Cambiamento nella relazione tra input del modello e target
  • $P(Y|X)$ cambia, $P(X)$ resta uguale

L'immagine mostra un cambiamento nella relazione tra reddito ed età in produzione rispetto all'ambiente di training.

Concetti di Monitoring per il Machine Learning

Perché avviene il drift?

  • Eventi esterni
    • trend virali, cambi di policy
  • Stagionalità non modellata
    • es. nel forecast della domanda: Black Friday o Natale
  • Cambi nel processo di generazione dati

    • nuovo aggiornamento dell'app di raccolta dati
  • Comportamenti utente in evoluzione

    • abitudini, pattern, preferenze cambiano di continuo
Concetti di Monitoring per il Machine Learning

Le dinamiche del concept drift

  • Drift improvviso: un nuovo concetto compare in poco tempo

 

  • Drift graduale: un nuovo concetto rimpiazza gradualmente il vecchio

 

  • Ricorrente: un vecchio concetto riappare nel tempo

Immagine con la scritta Covid-19.

Immagine con banconote americane.

Immagine con poster -50% di sconto per il Black Friday.

Concetti di Monitoring per il Machine Learning

Effetti del covariate shift sul concept drift

  • Negativo
    • l'effetto del concept drift diminuisce

 

 

  • Positivo
    • l'effetto del concept drift si intensifica

L'immagine illustra uno spostamento delle covariate tra training e produzione. In particolare, la feature reddito è passata da 80k/anno a 100k/anno. Nel secondo grafico, l'immagine mostra concept drift: cambia la relazione tra reddito e default del prestito previsto. Ne risulta una maggiore probabilità di default per richiedenti con redditi più bassi.

L'immagine illustra uno spostamento delle covariate tra training e produzione. In particolare, la feature reddito è passata da 80k/anno a 60k/anno. Nel secondo grafico, l'immagine mostra concept drift: cambia la relazione tra reddito e default del prestito previsto. Ne risulta una maggiore probabilità di default per richiedenti con redditi più bassi.

Concetti di Monitoring per il Machine Learning

Passiamo alla pratica !

Concetti di Monitoring per il Machine Learning

Preparing Video For Download...