Prestandaestimering

Övervakning av maskininlärningskoncept

Hakim Elakhrass

Co-founder and CEO of NannyML

Översikt

Två algoritmer för prestandaestimering:

  • CBPE – klassificeringsuppgifter
  • DLE – regressionsuppgifter
Övervakning av maskininlärningskoncept

CBPE – Så fungerar det

  • Estimerar en förväxlingsmatris

 

  • Möjliggör beräkning av klassificeringsmått som accuracy, precision och recall

 

  • Fångar upp effekten av kovariatskifte på modellen

 

CBPE-algoritmen illustreras i en bild som visar hur den fungerar. Den första modellen gör en prediktion för ett givet exempel, och prediktionen används för att bestämma klass. Om modellen predikterar värdet 0,9 klassas exemplet som positivt eftersom värdet överstiger 0,5. Annars klassas det som negativt. Processen upprepas för alla exempel i datamängden och de resulterande konfidenspoängen aggregeras för att generera en estimerad förväxlingsmatris.

Övervakning av maskininlärningskoncept

CBPE – Att tänka på

  • Inget kovariatskifte i osedda regioner

 

  • Inget konceptdrift i inkommande data

 

  • Kräver kalibrering av sannolikheter
Övervakning av maskininlärningskoncept

DLE – Så fungerar det

  • Predikterar modellens absolutfel

 

  • Använder en extern underordnad modell

 

  • Möjliggör beräkning av regressionsmått som MAE, MSE och MSLE

 

  • Fångar upp kovariatskifte i indata

Bilden beskriver prestandaestimeringen för en regressionsuppgift i produktion. Analysdata matas in i modellen och genererar prediktioner. Prediktionerna och analysdata skickas sedan till den underordnade modellen, som predikterar felet. Utifrån felprediktionen beräknas övriga regressionsmått för att utvärdera modellens prestanda.

Övervakning av maskininlärningskoncept

DLE – Att tänka på

  • Inget kovariatskifte i osedda regioner

 

  • Inget konceptdrift i inkommande data

 

  • Extra komplexitet
Övervakning av maskininlärningskoncept

Nu kör vi en övning!

Övervakning av maskininlärningskoncept

Preparing Video For Download...