Hoe ga je om met conceptdrift?

Monitoring Machine Learning-concepten

Hakim Elakhrass

Co-founder and CEO of NannyML

Detectie van conceptdrift

  • Foutgebaseerde methoden
    • fouten over tijd volgen
    • vereist ground truth

 

  • Train een nieuw model met train- en productiegegevens
    • verandering in voorspellingen = conceptdrift
    • duur in geavanceerde use-cases
Monitoring Machine Learning-concepten

Hertrainen

De afbeelding toont twee grafieken. De eerste laat een geleidelijke daling van de modelnauwkeurigheid in de tijd zien. De tweede toont een lichte daling gevolgd door hertraining, waardoor de nauwkeurigheid stijgt. Dit herhaalt zich periodiek.

Voordelen:

  • houdt het model up-to-date met recente patronen

 

Nadelen:

  • hogere kosten en faalrisico
  • geeft niet de grondoorzaak
Monitoring Machine Learning-concepten

Online leren

De afbeelding toont de cyclus van online leren: data uit de app gaat naar de database en wordt direct gebruikt om het model te updaten, dat daarna opnieuw wordt uitgerold.

Voordelen:

  • realtime aanpassing aan veranderende omstandigheden

 

Nadelen:

  • vereist constante toegang tot ground truth
  • gevoelig voor ruis
  • vraagt zorgvuldige parameterafstemming
Monitoring Machine Learning-concepten

Andere oplossingen

 

  • Een eventspecifiek model voor terugkerende events

 

  • Weging van het belang van nieuwe data
    • met meer focus op nieuwere data past het model sneller aan

 

De afbeelding toont een tijdlijn: het reguliere model wordt uitgerold op 23 november, het Black Friday-model op 24 november, daarna weer het reguliere model.

Monitoring Machine Learning-concepten

Laten we oefenen!

Monitoring Machine Learning-concepten

Preparing Video For Download...