Der ideale Monitoring-Workflow

Überwachung von Machine-Learning-Konzepten

Hakim Elakhrass

Co-founder and CEO of NannyML

Monitoring-Workflows

Traditioneller Monitoring-Workflow

  • Technische Performance berechnen

  • Alarm bei Drifts in Eingabedaten

  • Führt zu vielen Fehlalarmen

Idealer Monitoring-Workflow

  • Technisches Performance-Monitoring

    • Performance berechnen und schätzen

  • Root-Cause-Analyse

    • Verknüpft Drifts mit Performance-Einbrüchen

 

Der ideale Monitoring-Workflow: Zuerst Performance-Monitoring. Bei Degradation folgt Root-Cause-Analyse, dann Problemlösung.

Überwachung von Machine-Learning-Konzepten

Performance monitoren

Beinhaltet:

  • Performance berechnen – für technische Metriken wie Accuracy

 

  • Performance schätzen – wenn Ground Truth fehlt

 

  • Business Impact messen – KPIs überwachen

  Das Diagramm zeigt die Accuracy über die Zeit, sie fällt unter den Schwellenwert.

Das KPI-über-Zeit-Diagramm zeigt, dass KPIs innerhalb der Schwellen bleiben.

Überwachung von Machine-Learning-Konzepten

Root-Cause-Analyse

Ziel: untersuchen

 

  • Covariate Shift – Verschiebungen in der Verteilung der Eingabedaten

 

  • Concept Drift – Änderung der Beziehung zwischen Features und Targets

Das Diagramm zeigt die Entscheidungsgrenze zwischen blauen und roten Kreisen für ein funktionierendes Modell.

Das Diagramm zeigt, wie blaue Kreise die Entscheidungsgrenze überschreiten – Covariate Shift.

Das Diagramm zeigt eine veränderte Entscheidungsgrenze – Concept Drift.

Überwachung von Machine-Learning-Konzepten

Problemlösung

Mögliche Lösungen:

  • Retraining – braucht mehr Daten und Compute

 

  • Use Case refactoren – einen Schritt zurück, Methoden überdenken

 

  • Downstream-Prozesse ändern – Abläufe rund um die Vorhersage anpassen

  Das Bild zeigt ein digitales Gehirn (ML-Modell) plus eine Datenbank – Retraining mit mehr Daten.

Das Bild zeigt ein Board mit Fragen zu Feature Engineering, genutzten Features und linearer Regression.

Das Bild zeigt eine Person, die etwas am Computer manuell prüft.

Überwachung von Machine-Learning-Konzepten

Lass uns üben!

Überwachung von Machine-Learning-Konzepten

Preparing Video For Download...