Cum se detectează covariate shift

Monitorizarea conceptelor de Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Detectarea derivei multivariate

  • Identifică modificări în distribuția comună

 

 

  • Utilizează algoritmul PCA pentru compresia datelor

 

 

  • Utilizează eroarea de reconstrucție ca măsură a derivei

Imaginea arată un flux de detectare a derivei multivariante, în care datele multidimensionale sunt comprimate în spațiul latent și apoi decomprimate la forma originală cu o anumită reconstrucție.

Graficul ilustrează fluctuațiile erorii de derivă în reconstrucția datelor în timp.

Monitorizarea conceptelor de Machine Learning

Detectarea derivei univariate

Tipuri de variabile:

  • Categorice - reprezintă tipuri de date care pot fi grupate, precum starea civilă, statutul de fumător, nivelul de educație

 

  • Continue - variabilă cu un număr infinit de valori reale într-un interval dat, precum înălțimea, greutatea, distanța, timpul
Monitorizarea conceptelor de Machine Learning

Metode continue - Jensen-Shannon

  • Măsoară similaritatea dintre două distribuții

  • Interval [0, 1]

  • Detectează derive semnificative de magnitudine redusă

Imaginea arată modificarea distribuției măsurată prin distanța Jensen-Shannon.

Monitorizarea conceptelor de Machine Learning

Metode continue - Wasserstein

  • Efortul minim necesar pentru a transforma o distribuție în alta

  • Interval [0, +inf]

  • Sensibil la valori extreme

Imaginea arată modificarea distribuției măsurată prin distanța Wasserstein.

Monitorizarea conceptelor de Machine Learning

Metode continue - Kolmogorov-Smirnov

  • Distanța maximă dintre funcțiile de distribuție cumulativă

  • Interval [0, 1]

  • Predispus la rezultate fals pozitive

Imaginea arată modificarea distribuției măsurată prin distanța Kolmogorov-Smirnov.

Monitorizarea conceptelor de Machine Learning

Metode continue - Hellinger

  • Suprapunerea distribuțiilor
  • Interval [0, 1]
  • Nu diferențiază între deviații puternice

 

Metode continue - Recomandare

  • Jensen-Shannon și Wasserstein performează în general bine

Imaginea arată modificarea distribuției măsurată prin distanța Hellinger.

Monitorizarea conceptelor de Machine Learning

Metode categorice - Chi-pătrat

  • Sensibil la modificări ale categoriilor cu frecvență redusă

Imaginea arată o vizualizare a statisticii chi-pătrat pentru o variabilă categorică cu două categorii, a și b.

Monitorizarea conceptelor de Machine Learning

Metode categorice - L-infinity

  • Identifică cea mai semnificativă deviație din toate categoriile

Imaginea arată o vizualizare a metodei L-Infinity pentru o variabilă categorică cu trei categorii, a, b și c.

Monitorizarea conceptelor de Machine Learning

Metode categorice - Jensen-Shannon și Hellinger

  • Jensen-Shannon sau L-Infinity pentru un număr mare de categorii
  • Distanța L-Infinity pentru detectarea modificărilor în categorii individuale

Imaginea arată o vizualizare a metodelor Jensen-Shannon și Hellinger pentru o variabilă categorică cu trei categorii, a, b și c.

Monitorizarea conceptelor de Machine Learning

Să exersăm!

Monitorizarea conceptelor de Machine Learning

Preparing Video For Download...