Utmaningar med att övervaka ML-modeller

Övervakning av maskininlärningskoncept

Hakim Elakhrass

Co-founder and CEO of NannyML

Komponenter i ett maskininlärningsprojekt

Ett Venn-diagram med tre cirklar representerar områdena mjukvaruutveckling, dataanalys och maskininlärning, där skärningspunkten för alla tre representerar datavetenskap.

Modellen misslyckas med att göra prediktioner

Möjliga problem:

Språkbarriärer – kombinera olika programmeringsspråk med "lim"-kod

Kodunderhåll – kompatibilitetsproblem vid uppdaterade beroenden

Skalningsproblem – infrastrukturen klarar inte fler användare

Modellens prediktioner misslyckas

Kovariatskifte

Förändring i indatafördelningen
Kan detekteras med statistiska metoder
Inte varje drift påverkar prestandan

Ett täthetsdistributionsdiagram som jämför kundernas ålder i tränings- och produktionssetten visar att träningssetet är starkt snedfördelat mot lägre åldersvärden. Produktionssetet har liknande form men med en topp vid högre åldersvärden.

Konceptdrift

Förändring i relationen mellan indata och målvariabel
Svår att detektera
Påverkar nästan alltid modellens affärsnytta

Det finns ett samband mellan kundens livstidsvärde (CLV) och särdragsvariabeln ålder för både tränings- och produktionssetten. Sambandet förändras dock i produktion, vilket indikerar konceptdrift.

Tillgång till facit

En bild på en klädbutik.

Nu kör vi en övning!

Övervakning av maskininlärningskoncept