Was ist Konzept-Drift?

Überwachung von Machine-Learning-Konzepten

Hakim Elakhrass

Co-founder and CEO of NannyML

Definition

Änderung der Beziehung zwischen Modell-Inputs und Ziel

$P(Y|X)$ ändert sich, $P(X)$ bleibt gleich

Das Bild zeigt, dass sich die Beziehung zwischen Einkommen und Alter in Produktion gegenüber dem Training ändert.

Warum tritt Drift auf?

Externe Ereignisse
- virale Trends, Politikänderungen
Nicht modellierte Saisonalität
- z. B. bei Nachfrageprognosen Events wie Black Friday oder Weihnachten
Änderungen im Datenerzeugungsprozess
- neues Update der Datenerfassungs-App
Wandelndes Nutzerverhalten
- Gewohnheiten, Muster, Präferenzen ändern sich ständig

Dynamik der Konzept-Drift

Plötzliche Drift – ein neues Konzept tritt in kurzer Zeit auf

Allmähliche Drift – ein neues Konzept ersetzt schrittweise das alte

Wiederkehrend – altes Konzept taucht wieder auf

Bild zeigt den Text Covid-19.

Bild zeigt US-Banknoten.

Bild zeigt ein Plakat mit 50 % Rabatt am Black Friday.

Auswirkungen von Kovariaten-Shift auf Konzept-Drift

Negativ
- die Wirkung der Konzept-Drift nimmt ab

Positiv
- die Wirkung der Konzept-Drift verstärkt sich

Das Bild zeigt einen Kovariaten-Shift zwischen Training und Produktion. Die Einkommens-Feature hat sich von 80k/Jahr auf 100k/Jahr verschoben. Im zweiten Diagramm zeigt das Bild Konzept-Drift: Die Beziehung zwischen Einkommen und vorhergesagtem Kreditausfall hat sich geändert. Dadurch steigt die Ausfallwahrscheinlichkeit bei geringerem Einkommen.

Das Bild zeigt einen Kovariaten-Shift zwischen Training und Produktion. Die Einkommens-Feature hat sich von 80k/Jahr auf 60k/Jahr verschoben. Im zweiten Diagramm zeigt das Bild Konzept-Drift: Die Beziehung zwischen Einkommen und vorhergesagtem Kreditausfall hat sich geändert. Dadurch steigt die Ausfallwahrscheinlichkeit bei geringerem Einkommen.

Lass uns üben!

Überwachung von Machine-Learning-Konzepten