Vad är konceptdrift?

Övervakning av maskininlärningskoncept

Hakim Elakhrass

Co-founder and CEO of NannyML

Definition

Förändring i relationen mellan modellens indata och målet

$P(Y|X)$ förändras, $P(X)$ förblir oförändrat

Bilden visar hur relationen mellan inkomst och ålder i produktion har förändrats jämfört med träningssituationen.

Varför uppstår drift?

Externa händelser
- virala trender, policyförändringar
Ej modellerad säsongsvariation
- vid efterfrågeprognoser, säsongshändelser som Black Friday eller jul
Förändringar i datainsamlingsprocessen
- ny uppdatering av datainsamlingsappen
Förändrat användarbeteende
- vanor, mönster och preferenser förändras kontinuerligt

Konceptdriftens dynamik

Plötslig drift – ett nytt koncept uppstår under kort tid

Gradvis drift – ett nytt koncept ersätter successivt det gamla

Återkommande – ett gammalt koncept återkommer över tid

Bilden visar texten Covid-19.

Bilden visar amerikanska sedlar.

Bilden visar en affisch med 50% rabatt under Black Friday.

Kovariatskiftets effekt på konceptdrift

Negativ
- konceptdriftens effekt minskar

Positiv
- konceptdriftens effekt förstärks

Bilden illustrerar ett kovariatskifte mellan tränings- och produktionsfasen. Inkomstvariabeln har skiftat från 80 000 till 100 000 kr/år. Det andra diagrammet visar konceptdrift – en förändrad relation mellan inkomst och förutsagd kreditförlust. Det innebär högre sannolikhet för kreditförlust bland sökande med lägre inkomst.

Bilden illustrerar ett kovariatskifte mellan tränings- och produktionsfasen. Inkomstvariabeln har skiftat från 80 000 till 60 000 kr/år. Det andra diagrammet visar konceptdrift – en förändrad relation mellan inkomst och förutsagd kreditförlust. Det innebär högre sannolikhet för kreditförlust bland sökande med lägre inkomst.

Nu kör vi en övning!

Övervakning av maskininlärningskoncept