Övervaka teknisk prestanda direkt

Övervakning av maskininlärningskoncept

Hakim Elakhrass

Co-founder and CEO of NannyML

Kovariatskift och prestanda

Tre typer av kovariatskift:

Skift mot vissa regioner
- fler höginkomsttagare ansöker om lån
Skift mot underrepresenterade regioner
- 10 % av tech-anställda ansöker om lån i stället för 0,5 % i träningsdata
Skift mot osäkra regioner
- skift från 20 % till 40 % av medelinkomsttagare nära beslutsgränsen

-> Ingen påverkan

-> Okänd påverkan

-> Negativ påverkan

Garanterat negativ påverkan

Kovariatskift mot osäkra regioner påverkar alltid prestandan negativt

Visualiseringen av träningsperioden visar den region där modellen är minst säker. Under produktion finns det dock fler personer i den regionen än tidigare.

Problemet med falska varningar

Bilden visar prickar som representerar varningar och hur viktiga prickar kan försvinna i mängden när det finns för många prickar

Vikten av teknisk prestanda

Direkt mått på hur väl modellen löser uppgiften

Fångar upp tysta modellfel

Minskar överbelastningen av falska varningar

Bilden visar ett utsnitt av övervakningsdiagrammet. Prestandaövervakning i den första rutan, under den kopplad med en streckad linje och i en streckad ruta som frågar om modellen fortfarande presterar, till höger en romb med "prestandaförsämring", sedan en pil åt höger med "ja" ovanför, och en pil som loopar tillbaka till prestandaövervakningsrutan med "nej" ovanför.

Nu kör vi en övning!

Övervakning av maskininlärningskoncept