Was ist Covariate Shift?

Überwachung von Machine-Learning-Konzepten

Hakim Elakhrass

Co-founder and CEO of NannyML

Begriffe

  • Kovariaten = Eingabefeatures
  • P(X) ändert sich
  • bedingte Wahrscheinlichkeit P(Y|X) bleibt gleich
  • Änderungen in der gemeinsamen Verteilung der Kovariaten
Überwachung von Machine-Learning-Konzepten

Warum gemeinsame Wahrscheinlichkeitsverteilung?

Ein Diagramm zeigt positive und negative Korrelationen zwischen Feature 1 und Feature 2. Positive Korrelation in Woche 10 (blau), negative in Woche 16 (rot).

Überwachung von Machine-Learning-Konzepten

Warum tritt Covariate Shift auf?

Mögliche Gründe für Covariate Shift:

  • Die Welt ist nicht stationär – Muster und Trends ändern sich
  • Änderungen der Datenquellen – Unterschiede in der Datenerfassung zwischen Test und Produktion
  • Weiterentwicklung von System und Umgebung
Überwachung von Machine-Learning-Konzepten

Wie entsteht Covariate Shift?

Dynamik der Verteilungsänderungen:

  • Plötzlich

 

  • Allmählich

 

  • Saisonal

 

Das Bild zeigt einen plötzlichen Wechsel in der Datenverteilung. Zunächst blaue Punkte, dann abrupt rote Punkte.

Das Bild zeigt eine allmähliche Änderung der Datenverteilung. Anfangs blaue Punkte, die nach und nach rot werden und später wieder blau. Zuerst ändert sich ein Punkt, später die ganze Verteilung.

Das Bild zeigt eine saisonale Änderung der Datenverteilung. Zunächst blaue Punkte, dann plötzlich rot und später wieder blau. Der Zyklus wiederholt sich.

Überwachung von Machine-Learning-Konzepten

Wie erkennt man Covariate Shift?

Univariate Methode

Eine Verteilung der Produktionswerte pro Monat von September bis März. Es gibt sieben Verteilungen. Von September bis Dezember sind sie ähnlich mit kleinen, akzeptablen Abweichungen (blau). Von Januar bis März schrumpfen sie, der Mittelwert sinkt (rot), da die Änderungen größer sind.

Multivariate Methode

Ein multivariater Drift-Detection-Workflow: Die mehrdimensionale Daten werden zuerst in einen latenten Raum komprimiert und mit einem gewissen Fehler wieder dekomprimiert.

1 https://app.datacamp.com/learn/courses/dimensionality-reduction-in-python
Überwachung von Machine-Learning-Konzepten

Lass uns üben!

Überwachung von Machine-Learning-Konzepten

Preparing Video For Download...