Uitdagingen bij het monitoren van ML-modellen

Monitoring Machine Learning-concepten

Hakim Elakhrass

Co-founder and CEO of NannyML

Onderdelen van een ML-project

Een Venn-diagram met drie cirkels toont software-engineering, data-analyse en machine learning. De overlap van alle drie is data science.

Monitoring Machine Learning-concepten

Het model doet geen voorspellingen

Mogelijke problemen:

  • Taalbarrières – verschillende talen koppelen met “glue”-code

 

  • Code-onderhoud – incompatibele updates van dependencies

 

  • Schaalproblemen – infrastructuur niet robuust voor meer gebruikers
Monitoring Machine Learning-concepten

Voorspellingen van het model falen

Covariate shift

  • Verandering in de verdeling van inputs
  • Te detecteren met statistische methoden
  • Niet elke drift schaadt prestaties

 

Een dichtheidsplot vergelijkt de leeftijdsverdeling van klanten in train en productie: train is scheef naar jonger, productie lijkt erop maar heeft een piek bij hogere leeftijden.

Concept drift

  • Verandering in de relatie tussen input en target
  • Moeilijk te detecteren
  • Beïnvloedt bijna altijd de zakelijke impact

Er is een relatie tussen customer lifetime value (CLV) en de feature Age in zowel train als productie. Die relatie verandert in productie, wat op concept drift wijst.

Monitoring Machine Learning-concepten

Beschikbaarheid van ground truth

Een afbeelding van een kledingwinkel.

Monitoring Machine Learning-concepten

Laten we oefenen!

Monitoring Machine Learning-concepten

Preparing Video For Download...