Technische Performance direkt überwachen

Überwachung von Machine-Learning-Konzepten

Hakim Elakhrass

Co-founder and CEO of NannyML

Kovariaten-Shift vs. Performance

Drei Arten von Kovariaten-Shift:

  • Verschiebung in sichere Bereiche

    • mehr einkommensstarke Personen beantragen Kredite

  • Verschiebung in unterrepräsentierte Bereiche

    • 10 % Tech-Personen statt 0,5 % im Training beantragen Kredite

  • Verschiebung in unsichere Bereiche

    • Anstieg von 20 % auf 40 % mittelständisches Einkommen nahe der Entscheidungsgrenze

 

-> Kein Einfluss

 

-> Unklarer Einfluss

 

-> Negativer Einfluss

Überwachung von Machine-Learning-Konzepten

Garantiert negativer Einfluss

 
 
 
 

Kovariaten-Shift in unsichere Bereiche verschlechtert die Performance immer

Die Visualisierung der Trainingsphase markiert den Bereich mit der geringsten Modell-Sicherheit. In der Produktion befinden sich jedoch mehr Personen in diesem Bereich als zuvor.

Überwachung von Machine-Learning-Konzepten

Problem falscher Alerts

Die Grafik zeigt Punkte als Alerts und wie wichtige Punkte in zu vielen Alerts untergehen.

Überwachung von Machine-Learning-Konzepten

Warum technische Performance wichtig ist

  • Direktes Maß, wie gut das Modell die Aufgabe löst

 

  • Deckt stille Modellfehler ab

 

  • Vermeidet Alert-Überlastung

Das Diagramm zeigt Monitoring: Oben „Performance-Monitoring“, darunter gestrichelt „Erfüllt das Modell noch die Aufgabe?“, rechts eine Raute „Performanceabbau“, Pfeil mit „Ja“ nach rechts und Pfeil mit „Nein“ zurück zum Performance-Monitoring.

Überwachung von Machine-Learning-Konzepten

Lass uns üben!

Überwachung von Machine-Learning-Konzepten

Preparing Video For Download...