Wat is concept drift?

Monitoring Machine Learning-concepten

Hakim Elakhrass

Co-founder and CEO of NannyML

Definitie

  • Verandering in de relatie tussen modelinputs en target
  • $P(Y|X)$ verandert, $P(X)$ blijft gelijk

De afbeelding toont een veranderde relatie tussen inkomen en leeftijd in productie vergeleken met training.

Monitoring Machine Learning-concepten

Waarom treedt drift op?

  • Externe gebeurtenissen
    • virale trends, beleidswijzigingen
  • Niet-gemodeleerde seizoensinvloed
    • bij vraagvoorspelling: events als Black Friday of Kerstmis

  • Wijzigingen in het datageneratieproces

    • nieuwe update van de data­verzamelingsapp

  • Veranderend gebruikersgedrag

    • gewoontes, patronen, voorkeuren veranderen continu
Monitoring Machine Learning-concepten

De dynamiek van concept drift

  • Plotse drift – er verschijnt snel een nieuw concept

 

  • Geleidelijke drift – een nieuw concept vervangt het oude stap voor stap

 

  • Terugkerend – oud concept keert periodiek terug

Afbeelding toont de tekst Covid-19.

Afbeelding toont Amerikaanse bankbiljetten.

Afbeelding toont een poster met 50% korting tijdens Black Friday.

Monitoring Machine Learning-concepten

Effecten van covariaatverschuiving op concept drift

  • Negatief
    • het effect van concept drift neemt af

 

 

  • Positief
    • het effect van concept drift neemt toe

De afbeelding toont een covariaat­verschuiving tussen training en productie. De inkomensfeature verschuift van 80k/jaar naar 100k/jaar. In de tweede grafiek is concept drift te zien: de relatie tussen inkomen en voorspelde wanbetaling verandert. Daardoor is de kans op wanbetaling hoger bij lagere inkomens.

De afbeelding toont een covariaat­verschuiving tussen training en productie. De inkomensfeature verschuift van 80k/jaar naar 60k/jaar. In de tweede grafiek is concept drift te zien: de relatie tussen inkomen en voorspelde wanbetaling verandert. Daardoor is de kans op wanbetaling hoger bij lagere inkomens.

Monitoring Machine Learning-concepten

Laten we oefenen!

Monitoring Machine Learning-concepten

Preparing Video For Download...