Det ideala övervakningsflödet

Övervakning av maskininlärningskoncept

Hakim Elakhrass

Co-founder and CEO of NannyML

Övervakningsflöden

Traditionellt övervakningsflöde

Beräkna teknisk prestanda
Larm baserat på avvikelser i indata
Leder till många falska larm

Idealt övervakningsflöde

Teknisk prestandaövervakning
- Beräkna och uppskatta prestanda
Rotorsaksanalys
- Kopplar avvikelser till prestandaförsämringar

Det ideala övervakningsflödet börjar med prestandaövervakning. Vid prestandaförsämring genomförs rotorsaksanalys, följt av problemlösning.

Prestandaövervakning

Innefattar:

Beräkna prestanda – för tekniska mätvärden som noggrannhet

Uppskatta prestanda – när facit saknas

Mäta affärspåverkan – övervaka nyckeltal

Diagrammet visar noggrannhet över tid, där noggrannheten sjunker under det angivna tröskelvärdet.

Diagrammet visar nyckeltal över tid och att nyckeltalen håller sig inom de angivna tröskelvärdena.

Rotorsaksanalys

Målet är att undersöka:

Kovariatskifte – förskjutningar i indatadistributionen

Konceptdrift – förändringar i relationen mellan särdrag och mål

Diagrammet visar beslutsgränsen mellan blå och röda cirklar för en fungerande modell.

Diagrammet visar hur blå cirklar förskjuts över beslutsgränsen, vilket indikerar ett kovariatskifte.

Diagrammet illustrerar förändringen av beslutsgränsen, vilket indikerar konceptdrift.

Problemlösning

Möjliga åtgärder:

Omträning – kräver mer data och beräkningskapacitet

Omarbeta användningsfallet – ta ett steg tillbaka och se över metoderna

Ändra efterföljande processer – justera processerna kring prediktionerna

Bilden visar en digital hjärna som representerar en maskininlärningsmodell, kopplad till en databas med ett plustecken – ett tecken på omträning med mer data.

Bilden visar en whiteboard med frågor om särdragsteknik, använda särdrag och linjär regression.

Bilden visar en person som manuellt kontrollerar något på en dator.

Nu kör vi en övning!

Övervakning av maskininlärningskoncept