Hur hanterar man konceptdrift?

Övervakning av maskininlärningskoncept

Hakim Elakhrass

Co-founder and CEO of NannyML

Detektering av konceptdrift

  • Felbaserade metoder
    • spårar förändringar i fel över tid
    • kräver facit

 

  • Träna en ny modell med tränings- och produktionsdata
    • förändrade prediktioner indikerar konceptdrift
    • kostsamt i mer avancerade fall
Övervakning av maskininlärningskoncept

Omträning

Bilden visar två grafer. Den första illustrerar en gradvis minskning av modellens noggrannhet över tid. Den andra visar en liten försämring följd av en omträningsprocess som ökar noggrannheten, och detta upprepas med jämna mellanrum.

Fördelar :

  • håller modellen uppdaterad med aktuella mönster

 

Nackdelar :

  • ökade kostnader och risk för fel
  • ger inte grundorsaken till problemet
Övervakning av maskininlärningskoncept

Onlineinlärning

Bilden illustrerar cykeln för onlineinlärning, där data från appen skickas till databasen och omedelbart används för att uppdatera modellen, som sedan driftsätts på nytt.

Fördelar :

  • anpassar sig i realtid till förändrade förhållanden

 

Nackdelar :

  • kräver kontinuerlig tillgång till facit
  • känslig för brus
  • kräver noggrann parameterinställning
Övervakning av maskininlärningskoncept

Andra lösningar

 

  • En händelsespecifik modell för återkommande händelser

 

  • Viktning av ny data
    • med fokus på nyare data kan modellen anpassa sig lättare

 

Bilden visar en tidslinje där den ordinarie modellen driftsätts den 23 november, följt av en Black Friday-modell den 24 november, varefter den ordinarie modellen återdriftsätts.

Övervakning av maskininlärningskoncept

Nu kör vi en övning!

Övervakning av maskininlärningskoncept

Preparing Video For Download...