Cum se gestionează concept drift?

Monitorizarea conceptelor de Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Detectarea concept drift

  • Metode bazate pe erori
    • urmărirea variațiilor erorii în timp
    • necesită date reale de referință

 

  • Antrenarea unui nou model cu date de producție și de antrenament
    • modificarea predicțiilor indică concept drift
    • costisitor în cazuri de utilizare avansate
Monitorizarea conceptelor de Machine Learning

Reantrenare

Imaginea prezintă două grafice. Primul ilustrează o scădere treptată a acurateței modelului în timp. Al doilea arată o ușoară scădere a acurateței, urmată de reantrenare și creșterea acurateței, proces repetat la intervale regulate.

Avantaje :

  • modelul rămâne actualizat cu tiparele recente

 

Dezavantaje :

  • costuri ridicate și risc de eșec
  • nu identifică cauza principală a problemei
Monitorizarea conceptelor de Machine Learning

Învățare online

Imaginea ilustrează ciclul de învățare online: datele din aplicație sunt trimise în baza de date și utilizate imediat pentru actualizarea modelului, care este redeploit pentru utilizare ulterioară.

Avantaje :

  • adaptare în timp real la condiții în schimbare

 

Dezavantaje :

  • necesită acces constant la date de referință reale
  • sensibil la zgomot
  • necesită ajustare atentă a parametrilor
Monitorizarea conceptelor de Machine Learning

Alte soluții

 

  • Un model specific pentru evenimente recurente

 

  • Ponderarea importanței datelor noi
    • cu accent pe datele recente, modelul se adaptează mai ușor

 

Imaginea prezintă o cronologie în care modelul obișnuit este deploiat pe 23 noiembrie, urmat de modelul Black Friday pe 24 noiembrie, după care modelul obișnuit este redeploiat.

Monitorizarea conceptelor de Machine Learning

Să exersăm!

Monitorizarea conceptelor de Machine Learning

Preparing Video For Download...