Wie mit Concept Drift umgehen?

Überwachung von Machine-Learning-Konzepten

Hakim Elakhrass

Co-founder and CEO of NannyML

Concept-Drift-Erkennung

  • Fehlerbasierte Methoden
    • Fehlerverlauf über die Zeit verfolgen
    • benötigt Ground Truth

 

  • Neues Modell mit Trainings- und Produktivdaten trainieren
    • Änderung der Vorhersagen = Concept Drift
    • teuer in fortgeschrittenen Use Cases
Überwachung von Machine-Learning-Konzepten

Retraining

Das Bild zeigt zwei Diagramme. Das erste zeigt einen allmählichen Rückgang der Modellgenauigkeit über die Zeit. Das zweite zeigt einen leichten Rückgang, gefolgt von Retraining, wodurch die Genauigkeit steigt. Dieser Prozess wiederholt sich in Intervallen.

Vorteile:

  • hält das Modell auf dem neuesten Stand

 

Nachteile:

  • höhere Kosten und Ausfallrisiko
  • zeigt nicht die eigentliche Ursache
Überwachung von Machine-Learning-Konzepten

Online Learning

Die Grafik zeigt den Zyklus des Online-Lernens: App-Daten gehen in die Datenbank und aktualisieren sofort das Modell, das dann erneut ausgerollt wird.

Vorteile:

  • passt sich in Echtzeit an

 

Nachteile:

  • benötigt permanenten Zugriff auf Ground Truth
  • anfällig für Rauschen
  • erfordert sorgfältiges Tuning
Überwachung von Machine-Learning-Konzepten

Weitere Lösungen

 

  • Ereignisspezifisches Modell für wiederkehrende Events

 

  • Gewichtung neuer Daten
    • mit Fokus auf neuere Daten passt sich das Modell leichter an

 

Die Zeitleiste zeigt: Reguläres Modell wird am 23. Nov. ausgerollt, am 24. Nov. Black-Friday-Modell, danach wieder das reguläre Modell.

Überwachung von Machine-Learning-Konzepten

Lass uns üben!

Überwachung von Machine-Learning-Konzepten

Preparing Video For Download...