Co je concept drift?

Monitoring Machine Learning Concepts

Hakim Elakhrass

Co-founder and CEO of NannyML

Definice

  • Změna vztahu mezi vstupy modelu a cílovou proměnnou
  • $P(Y|X)$ se mění, $P(X)$ zůstává stejné

Obrázek znázorňuje změnu vztahu mezi příjmem a věkem v produkci oproti trénovacímu prostředí.

Monitoring Machine Learning Concepts

Proč dochází k driftu?

  • Externí události
    • virální trendy, změny politik
  • Nemodelovaná sezónnost
    • při předpovídání poptávky sezónní události jako Black Friday nebo Vánoce

  • Změny v procesu generování dat

    • nová aktualizace aplikace pro sběr dat

  • Vyvíjející se chování uživatelů

    • zvyky, vzorce a preference se neustále mění
Monitoring Machine Learning Concepts

Dynamika concept driftu

  • Náhlý drift – nový koncept se objeví v krátkém čase

 

  • Postupný drift – nový koncept postupně nahrazuje starý

 

  • Opakující se – opakující se starý koncept v průběhu času

Obrázek zobrazuje text Covid-19.

Obrázek zobrazuje americké bankovky.

Obrázek zobrazuje plakát s 50% slevou během Black Friday.

Monitoring Machine Learning Concepts

Vliv kovariantního posunu na concept drift

  • Negativní
    • vliv concept driftu se snižuje

 

 

  • Pozitivní
    • vliv concept driftu se zesiluje

Obrázek ilustruje kovariantní posun mezi trénovací a produkční fází. Konkrétně se příznak příjmu posunul z 80 tis./rok na 100 tis./rok. Druhý graf znázorňuje concept drift jako změnu vztahu mezi příjmem a předpovídaným selháním úvěru – vyšší pravděpodobnost selhání pro žadatele s nižšími příjmy.

Obrázek ilustruje kovariantní posun mezi trénovací a produkční fází. Konkrétně se příznak příjmu posunul z 80 tis./rok na 60 tis./rok. Druhý graf znázorňuje concept drift jako změnu vztahu mezi příjmem a předpovídaným selháním úvěru – vyšší pravděpodobnost selhání pro žadatele s nižšími příjmy.

Monitoring Machine Learning Concepts

Pojďme si procvičit!

Monitoring Machine Learning Concepts

Preparing Video For Download...