Come gestire il concept drift?

Concetti di Monitoring per il Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Rilevamento del concept drift

  • Metodi basati sull'errore
    • tracciare le variazioni di errore nel tempo
    • richiede ground truth

 

  • Allena un nuovo modello con dati di training e di produzione
    • il cambio nelle predizioni indica concept drift
    • costoso in casi avanzati
Concetti di Monitoring per il Machine Learning

Ri-addestramento

L'immagine mostra due grafici. Il primo illustra un calo graduale dell'accuratezza del modello nel tempo. Il secondo mostra un lieve calo seguito da un ri-addestramento, con aumento dell'accuratezza, ripetuto a intervalli.

Pro:

  • mantiene il modello aggiornato ai pattern recenti

 

Contro:

  • maggiori costi e rischio di fallimento
  • non fornisce la causa radice del problema
Concetti di Monitoring per il Machine Learning

Online learning

L'immagine illustra il ciclo dell'online learning: i dati dall'app vanno al database e aggiornano subito il modello. Il modello aggiornato viene poi ridistribuito.

Pro:

  • adattamento in tempo reale a condizioni che cambiano

 

Contro:

  • richiede accesso costante alla ground truth
  • sensibile al rumore
  • necessita tuning accurato dei parametri
Concetti di Monitoring per il Machine Learning

Altre soluzioni

 

  • Un modello specifico per eventi ricorrenti

 

  • Ponderare l'importanza dei nuovi dati
    • con più focus sui dati recenti, il modello si adatta meglio

 

L'immagine mostra una timeline: il modello normale è distribuito il 23 novembre, poi il modello Black Friday il 24 novembre. Dopo, si ridistribuisce il modello normale.

Concetti di Monitoring per il Machine Learning

Passiamo alla pratica !

Concetti di Monitoring per il Machine Learning

Preparing Video For Download...