Leistungsabschätzung

Überwachung von Machine-Learning-Konzepten

Hakim Elakhrass

Co-founder and CEO of NannyML

Überblick

Zwei Algorithmen zur Leistungsabschätzung:

  • CBPE – Klassifikationsaufgaben
  • DLE – Regressionsaufgaben
Überwachung von Machine-Learning-Konzepten

CBPE – Funktionsweise

  • Schätzt eine Confusion Matrix

 

  • Ermöglicht Metriken wie Accuracy, Precision, Recall

 

  • Erfasst den Einfluss von Kovariaten-Shift auf das Modell

 

Das CBPE-Verfahren wird in einer Grafik gezeigt. Ein Modell sagt für ein Beispiel eine Wahrscheinlichkeit voraus, daraus wird die Klasse abgeleitet: z. B. führt 0,9 zu „positiv“, da über 0,5, sonst „negativ“. Dieser Prozess läuft für alle Beispiele; die Scores werden aggregiert, um eine geschätzte Confusion Matrix zu erzeugen.

Überwachung von Machine-Learning-Konzepten

CBPE – Hinweise

  • Kein Kovariaten-Shift in ungesehenen Bereichen

 

  • Kein Concept Drift in eingehenden Daten

 

  • Erfordert Wahrscheinlichkeitskalibrierung
Überwachung von Machine-Learning-Konzepten

DLE – Funktionsweise

  • Sagt den absoluten Fehler des Modells voraus

 

  • Nutzt ein externes Kindmodell

 

  • Ermöglicht Regressionsmetriken wie MAE, MSE, MSLE

 

  • Erkennt Kovariaten-Shift in den Eingabedaten

Die Grafik zeigt die Leistungsabschätzung für eine Regression in Produktion. Zuerst werden Analysedaten ins Modell gegeben und Vorhersagen erzeugt. Diese Vorhersagen und die Analysedaten gehen ins Kindmodell, das den Fehler vorhersagt. Aus dieser Fehlerprognose werden weitere Regressionsmetriken berechnet, um die Modellleistung zu bewerten.

Überwachung von Machine-Learning-Konzepten

DLE – Hinweise

  • Kein Kovariaten-Shift in ungesehenen Bereichen

 

  • Kein Concept Drift in eingehenden Daten

 

  • Zusätzliche Komplexität
Überwachung von Machine-Learning-Konzepten

Lass uns üben!

Überwachung von Machine-Learning-Konzepten

Preparing Video For Download...