Co je kovariantní posun?

Monitoring Machine Learning Concepts

Hakim Elakhrass

Co-founder and CEO of NannyML

Definice

  • kovariátní proměnné $=$ vstupní příznaky
  • $P(X)$ se mění
  • sdružená pravděpodobnost $P(Y|X)$ zůstává stejná
  • změny ve sdruženém rozdělení kovariát
Monitoring Machine Learning Concepts

Proč sdružené rozdělení pravděpodobnosti?

Graf znázorňuje kladnou i zápornou korelaci mezi příznakem 1 a příznakem 2. Kladná korelace je pozorována v týdnu 10 (modrá barva), záporná korelace v týdnu 16 (červená barva).

Monitoring Machine Learning Concepts

Proč dochází ke kovariantnímu posunu?

Možné příčiny kovariantního posunu:

  • Reálný svět není stacionární – vzory a trendy se vyvíjejí
  • Změny zdrojů dat – rozdíly ve způsobu sběru dat mezi testováním a produkcí
  • Vývoj systému a prostředí
Monitoring Machine Learning Concepts

Jak ke kovariantnímu posunu dochází?

Dynamika změn v rozdělení:

  • Náhlá

 

  • Postupná

 

  • Sezónní

 

Obrázek znázorňuje náhlou změnu v rozdělení dat. Zpočátku je rozdělení reprezentováno modrými body, ale po určitém čase náhle přechází na červené body.

Obrázek znázorňuje postupnou změnu v rozdělení dat. Zpočátku je rozdělení reprezentováno modrými body, ale postupně přechází na červené body a nakonec se vrací zpět na modré. Nejprve mění barvu jediný bod, po čase přejde celé rozdělení na červenou.

Obrázek znázorňuje sezónní změnu v rozdělení dat. Zpočátku je rozdělení reprezentováno modrými body, po čase náhle přechází na červené a poté se vrací zpět na modré. Cyklus se opakuje a ukazuje periodický charakter rozdělení dat.

Monitoring Machine Learning Concepts

Jak detekovat kovariantní posun?

Univariátní metoda

Rozdělení produkčních hodnot pro každý měsíc od září do března. Celkem je sedm rozdělení. Od září do prosince jsou rozdělení podobná s malými změnami v přijatelných mezích, proto jsou zbarvena modře. Od ledna do března se rozdělení zužují a střední hodnota se posouvá k nižším hodnotám, což vede k červenému zbarvení jako signálu výraznějších změn.

Multivariátní metoda

Pracovní postup multivariátní detekce posunu, kde jsou vícerozměrná data nejprve komprimována do latentního prostoru a poté dekomprimována zpět do původní podoby s určitou chybou.

1 https://app.datacamp.com/learn/courses/dimensionality-reduction-in-python
Monitoring Machine Learning Concepts

Pojďme si procvičit!

Monitoring Machine Learning Concepts

Preparing Video For Download...