Monitoring von Machine-Learning-Modellen

MLOps-Konzepte

Folkert Stijnman

ML Engineer

Monitoring und Retraining

Phases monitoring and retraining

Machine learning in production

Machine learning in production statistical

Statistisches Monitoring: Eingabe- und Ausgabedaten, einschließlich Prognosen

Beispiele: Kunde X wandert mit Wahrscheinlichkeit von 72 % ab, Kundin Y wandert mit Wahrscheinlichkeit von 31 % nicht ab

Machine learning in production computational

Computergestütztes Monitoring: konzentriert sich auf technische Kennzahlen

Beispiele: CPU-Auslastung des Servers, Anzahl der eingehenden Anfragen, Anzahl der Vorhersagen, Ausfallzeit des Servers

Kitchen appliances

Kitchen dishes

Statistical monitoring feedback

Feedback-Schleife: Prozess, bei dem Ground Truth genutzt wird, um das ML-Modell zu verbessern

Machine learning in production

MLOps-Konzepte