Waarom je je model moet monitoren

Monitoring Machine Learning-concepten

Hakim Elakhrass

Co-founder and CEO of NannyML

Machine learning in productie

Typisch ontwikkelproces

De pijlstroom heeft vier stappen: project definiëren, data voorbereiden, model trainen en deployen.

Na deployment

Een bijgewerkte flow met een extra pijl voor monitoring na deployment. Er zijn pijlen toegevoegd tussen monitoring en de fases data voorbereiden, model trainen en deployen, voor iteratieve verbeteringen op basis van monitoring.

Monitoring Machine Learning-concepten

Risico op falen verkleinen

Zillow-case

Een te-koop-bord voor een huis.

Redenen waarom een model kan falen:

  • Softwareproblemen
  • Drifts in inputdata
  • Veranderingen in relatie tussen features en targets
Monitoring Machine Learning-concepten

Businessimpact maximaliseren

 

  • Model afstemmen op businessdoelen

 

  • Cloudkosten verlagen

 

Een piramide van zes houten blokken. De basislaag vormt KPI, de rest staat voor groei, doelbereik en efficiëntie.

Het cloudlogo opgebouwd uit negen houten blokken.

Monitoring Machine Learning-concepten

AI-veiligheid verbeteren

Drie veiligheidsproblemen:

  • Bias – eerlijke output voor verschillende gebruikersgroepen

 

  • Adversarial attacks – kwaadaardige manipulatie van input detecteren

 

  • Gebrek aan uitlegbaarheid – begrijpen hoe het model beslissingen neemt

 

De afbeelding toont een houten blok met een schaal erop dat naar voren wordt geschoven, wat meer rechtvaardigheid en minder bias symboliseert.

De afbeelding toont een houten blok met een hangslot dat naar voren wordt geschoven, wat meer veiligheid symboliseert.

De afbeelding toont een houten blok dat naar voren wordt geschoven, met lijnen vanuit een hoofd die meer begrip van het systeem symboliseren.

Monitoring Machine Learning-concepten

De wereld veranderen met data

Het automatiseringsproces

De afbeelding toont een geautomatiseerde productielijn.

Monitoring Machine Learning-concepten

Laten we oefenen!

Monitoring Machine Learning-concepten

Preparing Video For Download...