Hur man identifierar kovariatskift

Övervakning av maskininlärningskoncept

Hakim Elakhrass

Co-founder and CEO of NannyML

Multivariatdriftdetektering

Söker efter förändringar i den gemensamma fördelningen

Använder PCA-algoritmen för datakomprimering

Använder rekonstruktionsfel som mått på drift

Bilden visar ett arbetsflöde för multivariatdriftdetektering, där flerdimensionell data först komprimeras till ett latent rum och sedan dekomprimeras tillbaka till ursprungsformen med ett visst rekonstruktionsfel.

Grafen illustrerar variationerna i rekonstruktionsdriftfelet över tid.

Univariat driftdetektering

Variabeltyper:

Kategoriska – representerar datatyper som kan delas in i grupper, t.ex. civilstånd, rökstatus och utbildningsnivå

Kontinuerliga – en variabel med oändligt många reella värden inom ett givet intervall, t.ex. längd, vikt, avstånd och tid

Kontinuerliga metoder – Jensen-Shannon

Mäter likheten mellan två fördelningar
Intervall [0, 1]
Fångar upp meningsfull drift av låg magnitud

Bilden visar fördelningsförändringar mätta med Jensen-Shannon-avstånd.

Kontinuerliga metoder – Wasserstein

Den minsta ansträngning som krävs för att omvandla en fördelning till en annan
Intervall [0, +inf]
Känslig för extremvärden

Bilden visar fördelningsförändringar mätta med Wasserstein-avstånd.

Kontinuerliga metoder – Kolmogorov-Smirnov

Maximalt avstånd mellan kumulativa fördelningsfunktioner
Intervall [0, 1]
Benägen att ge falskt positiva resultat

Bilden visar fördelningsförändringar mätta med Kolmogorov-Smirnov-avstånd.

Kontinuerliga metoder – Hellinger

Överlapp mellan fördelningar
Intervall [0, 1]
Skiljer inte mellan starka skift

Kontinuerliga metoder – Rekommendation

Jensen-Shannon och Wasserstein fungerar generellt sett bra

Bilden visar fördelningsförändringar mätta med Hellinger-avstånd.

Kategoriska metoder – Chi-kvadrat

Känslig för förändringar i lågfrekventa kategorier

Bilden visar en visualisering av chi-två-statistiken för en kategorisk variabel med två kategorier, a och b.

Kategoriska metoder – L-infinity

Identifierar det mest betydande skiftet över alla kategorier

Bilden visar en visualisering av L-infinity-metoden för en kategorisk variabel med tre kategorier, a, b och c.

Kategoriska metoder – Jensen-Shannon och Hellinger

Jensen-Shannon eller L-Infinity vid många kategorier
L-Infinity-avstånd för att detektera förändringar i enskilda kategorier

Bilden visar en visualisering av Jensen-Shannon- och Hellinger-metoderna för en kategorisk variabel med tre kategorier, a, b och c.

Nu kör vi en övning!

Övervakning av maskininlärningskoncept