Jak detekovat posun kovariant

Monitoring Machine Learning Concepts

Hakim Elakhrass

Co-founder and CEO of NannyML

Detekce multivariátního driftu

  • Hledá změny v sdružené distribuci

 

 

  • Používá algoritmus PCA ke kompresi dat

 

 

  • Používá chybu rekonstrukce jako míru driftu

Obrázek zobrazuje pracovní postup detekce multivariátního driftu, kde jsou vícerozměrná data nejprve komprimována do latentního prostoru a poté dekomprimována zpět do původní podoby s určitou rekonstrukcí.

Graf znázorňuje výkyvy chyby rekonstrukčního driftu dat v čase.

Monitoring Machine Learning Concepts

Univariátní detekce driftu

Typy proměnných:

  • Kategorické – reprezentují typy dat, které lze rozdělit do skupin, např. rodinný stav, kuřácký status, úroveň vzdělání

 

  • Spojité – proměnná s nekonečným počtem reálných hodnot v daném intervalu, např. výška, hmotnost, vzdálenost, čas
Monitoring Machine Learning Concepts

Spojité metody – Jensen-Shannon

  • Měří podobnost dvou distribucí

  • Rozsah [0, 1]

  • Zachycuje významné drifty nízkého rozsahu

Obrázek zobrazuje změnu distribuce měřenou vzdáleností Jensen-Shannon.

Monitoring Machine Learning Concepts

Spojité metody – Wasserstein

  • Minimální úsilí potřebné k převodu jedné distribuce na druhou

  • Rozsah [0, +inf]

  • Citlivé na odlehlé hodnoty

Obrázek zobrazuje změnu distribuce měřenou Wassersteinovou vzdáleností.

Monitoring Machine Learning Concepts

Spojité metody – Kolmogorov-Smirnov

  • Maximální vzdálenost kumulativních distribučních funkcí

  • Rozsah [0, 1]

  • Náchylné k falešným poplachům

Obrázek zobrazuje změnu distribuce měřenou vzdáleností Kolmogorova-Smirnova.

Monitoring Machine Learning Concepts

Spojité metody – Hellinger

  • Překryv mezi distribucemi
  • Rozsah [0, 1]
  • Nerozlišuje silné posuny

 

Spojité metody – doporučení

  • Jensen-Shannon a Wasserstein obecně fungují dobře

Obrázek zobrazuje změnu distribuce měřenou Hellingerovou vzdáleností.

Monitoring Machine Learning Concepts

Kategorické metody – chí-kvadrát

  • Citlivé na změny u málo zastoupených kategorií

Obrázek zobrazuje vizualizaci chí-kvadrát statistiky pro kategorickou proměnnou se dvěma kategoriemi, a a b.

Monitoring Machine Learning Concepts

Kategorické metody – L-infinity

  • Identifikuje nejvýznamnější posun napříč všemi kategoriemi

Obrázek zobrazuje vizualizaci metody L-infinity pro kategorickou proměnnou se třemi kategoriemi, a, b a c.

Monitoring Machine Learning Concepts

Kategorické metody – Jensen-Shannon a Hellinger

  • Jensen-Shannon nebo L-Infinity při práci s mnoha kategoriemi
  • Vzdálenost L-Infinity k detekci změn v jednotlivých kategoriích

Obrázek zobrazuje vizualizaci metod Jensen-Shannon a Hellinger pro kategorickou proměnnou se třemi kategoriemi, a, b a c.

Monitoring Machine Learning Concepts

Pojďme si procvičit!

Monitoring Machine Learning Concepts

Preparing Video For Download...