Prestatie-inschatting

Monitoring Machine Learning-concepten

Hakim Elakhrass

Co-founder and CEO of NannyML

Overzicht

Twee algoritmen voor prestatie-inschatting:

  • CBPE - classificatietaken
  • DLE - regressietaken
Monitoring Machine Learning-concepten

CBPE - Werking

  • Schat een confusion matrix

 

  • Maakt classificatiemetrics als accuracy, precision, recall mogelijk

 

  • Vangt de impact van covariate shift op het model

 

Het CBPE-algoritme wordt weergegeven in een afbeelding die laat zien hoe het werkt. Het eerste model doet een voorspelling op basis van een voorbeeld, en die voorspelling bepaalt de klasse. Als het model bijvoorbeeld 0,9 voorspelt voor een voorbeeld, is de klasse positief omdat de waarde boven 0,5 ligt. Anders, als de waarde onder 0,5 ligt, is de klasse negatief. Dit gebeurt voor alle voorbeelden in de dataset; de resulterende confidencescores worden geaggregeerd tot een geschatte confusion matrix.

Monitoring Machine Learning-concepten

CBPE - Aandachtspunten

  • Geen covariate shift in onzichtbare regio’s

 

  • Geen concept drift in binnenkomende data

 

  • Vereist kanskalibratie
Monitoring Machine Learning-concepten

DLE - Werking

  • Voorspelt de absolute fout van het model

 

  • Gebruikt een extern childmodel

 

  • Maakt diverse regressiemetrics mogelijk, zoals MAE, MSE, MSLE

 

  • Vangt de aanwezigheid van covariate shift in de inputdata

De afbeelding beschrijft het proces van prestatie-inschatting voor een regressietaak in productie. Eerst gaat de analysedata naar het model voor voorspellingen. Deze voorspellingen, samen met de analysedata, gaan naar het childmodel, dat de fout voorspelt. Met die foutvoorspelling worden andere regressiemetrics berekend om de modelprestatie te evalueren.

Monitoring Machine Learning-concepten

DLE - Aandachtspunten

  • Geen covariate shift in onzichtbare regio’s

 

  • Geen concept drift in binnenkomende data

 

  • Extra complexiteit
Monitoring Machine Learning-concepten

Laten we oefenen!

Monitoring Machine Learning-concepten

Preparing Video For Download...