Herausforderungen beim Überwachen von ML-Modellen

Überwachung von Machine-Learning-Konzepten

Hakim Elakhrass

Co-founder and CEO of NannyML

Komponenten eines ML-Projekts

Ein Venn-Diagramm mit drei Kreisen zeigt Softwareentwicklung, Datenanalyse und Machine Learning; die Schnittmenge steht für Data Science.

Überwachung von Machine-Learning-Konzepten

Das Modell gibt keine Vorhersagen aus

Mögliche Probleme:

  • Sprachbarrieren – verschiedene Programmiersprachen per „Glue“-Code verbinden

 

  • Code-Wartung – Inkompatibilität durch aktualisierte Abhängigkeiten

 

  • Skalierung – keine robuste Infrastruktur für mehr Nutzer
Überwachung von Machine-Learning-Konzepten

Die Vorhersagen des Modells versagen

Covariate Shift

  • Änderung der Verteilung der Eingaben
  • Mit statistischen Methoden erkennbar
  • Nicht jeder Drift beeinflusst die Leistung

 

Ein Dichteplot vergleicht das Alter von Kunden in Trainings- und Produktionsdaten: Training ist stark zu niedrigen Altern verzerrt; Produktion ähnlich, aber mit Spitze bei höheren Altern.

Concept Drift

  • Änderung der Beziehung zwischen Eingaben und Zielvariablen
  • Schwer zu erkennen
  • Beeinflusst fast immer den geschäftlichen Impact des Modells

Es besteht ein Zusammenhang zwischen Customer Lifetime Value (CLV) und dem Feature Age in Training und Produktion. In Produktion ändert sich der Zusammenhang – ein Hinweis auf Concept Drift.

Überwachung von Machine-Learning-Konzepten

Verfügbarkeit von Ground Truth

Ein Bild eines Bekleidungsgeschäfts.

Überwachung von Machine-Learning-Konzepten

Lass uns üben!

Überwachung von Machine-Learning-Konzepten

Preparing Video For Download...