De ideale monitoringsworkflow

Monitoring Machine Learning-concepten

Hakim Elakhrass

Co-founder and CEO of NannyML

Monitoringsworkflows

Traditionele monitoringsworkflow

  • Technische performance berekenen

  • Alarmeren bij drift in inputdata

  • Leidt tot veel valse alerts

Ideale monitoringsworkflow

  • Monitoring van technische performance

    • Performance berekenen en inschatten

  • Root-cause-analyse

    • Verbindt drifts met performance-dalingen

 

De ideale monitoringsworkflow: start met performancemonitoring; bij degradatie volgt root-cause-analyse; daarna probleemoplossing.

Monitoring Machine Learning-concepten

Performance monitoren

Omvat:

  • Performance berekenen - voor technische metrics zoals accuratesse

 

  • Performance inschatten - als ground truth ontbreekt

 

  • Businessimpact meten - KPI’s monitoren

  De grafiek toont accuratesse over tijd, die daalt en onder de drempel komt.

De KPI‑versus‑tijdgrafiek toont dat KPI’s binnen de drempels blijven.

Monitoring Machine Learning-concepten

Root-cause-analyse

Doel van het onderzoek:

 

  • Covariate shift - verschuivingen in de inputdataverdeling

 

  • Concept drift - verandering in relatie tussen features en targets

De grafiek toont de beslissingsgrens tussen blauwe en rode cirkels voor een werkend model.

De grafiek toont dat blauwe cirkels de beslissingsgrens kruisen: een covariate shift.

De grafiek toont een veranderde beslissingsgrens: concept drift.

Monitoring Machine Learning-concepten

Problemen oplossen

Mogelijke oplossingen:

  • Retrainen - vereist extra data en rekenkracht

 

  • Usecase refactoren - een stap terug en methoden herzien

 

  • Downstreamprocessen aanpassen - processen rond de voorspelling wijzigen

  De afbeelding toont een digitaal brein (ML‑model) met een plusteken naar een database: het model wordt met meer data geretraind.

De afbeelding toont een schetsbord met vragen over feature engineering, gebruikte features en lineaire regressie.

De afbeelding toont een medewerker die handmatig iets op een computer controleert.

Monitoring Machine Learning-concepten

Laten we oefenen!

Monitoring Machine Learning-concepten

Preparing Video For Download...