Technische performance direct monitoren

Monitoring Machine Learning-concepten

Hakim Elakhrass

Co-founder and CEO of NannyML

Relatie tussen covariate shift en performance

Drie covariate shifts:

  • Shifts naar bepaalde regio’s

    • meer mensen met hoog inkomen vragen leningen aan

  • Shifts naar ondergerepresenteerde regio’s

    • 10% tech-mensen die leningen aanvragen i.p.v. 0,5% in trainingsdata

  • Shifts naar onzekerdere regio’s

    • verschuiving van 20% naar 40% middeninkomen dicht bij de beslissingsgrens

 

-> Geen impact

 

-> Onbekende impact

 

-> Negatieve impact

Monitoring Machine Learning-concepten

Gegarandeerd negatieve impact

 
 
 
 

Covariate shift naar onzekere regio’s schaadt performance altijd

De visualisatie van de trainingsperiode markeert de regio waar het model het minst zeker is. In productie vallen er echter meer mensen in deze regio dan voorheen.

Monitoring Machine Learning-concepten

Probleem van valse alerts

De afbeelding toont stippen die alerts voorstellen, en hoe belangrijke stippen kunnen verdwijnen als er te veel zijn

Monitoring Machine Learning-concepten

Het belang van technische performance

  • Directe metriek van hoe goed het model de taak uitvoert

 

  • Vangt elke stille modelfout

 

  • Voorkomt overload door valse alerts

De afbeelding toont een deel van het monitoringschema. Bovenaan "Performance monitoring"; daaronder, met stippenlijn verbonden en in een gestippeld kader: "presteert het model nog?" Rechts een ruit met "performance degradation", dan een pijl rechts met "yes" erboven, en een pijl die terugloopt naar het performance monitoring-vak met "no" erboven.

Monitoring Machine Learning-concepten

Laten we oefenen!

Monitoring Machine Learning-concepten

Preparing Video For Download...