Что такое сдвиг ковариат?

Мониторинг систем машинного обучения

Hakim Elakhrass

Co-founder and CEO of NannyML

Определения

  • ковариатные переменные $=$ входные признаки
  • $P(X)$ изменяется
  • совместная вероятность $P(Y|X)$ остаётся прежней
  • изменения в совместном распределении ковариат
Мониторинг систем машинного обучения

Зачем нужно совместное распределение вероятностей?

График демонстрирует как положительную, так и отрицательную корреляцию между признаком один и признаком два. Положительная корреляция наблюдается на 10-й неделе и обозначена синим цветом, отрицательная — на 16-й неделе и обозначена красным.

Мониторинг систем машинного обучения

Почему возникает сдвиг ковариат?

Возможные причины сдвига ковариат:

  • Реальный мир нестационарен — закономерности и тенденции меняются
  • Изменения источников данных — различия в сборе данных между тестированием и эксплуатацией
  • Эволюция системы и среды
Мониторинг систем машинного обучения

Как проявляется сдвиг ковариат?

Характер изменений в распределении:

  • Внезапный

 

  • Постепенный

 

  • Сезонный

 

На изображении показано внезапное изменение распределения данных. Сначала распределение представлено синими точками, затем резко переходит к красным.

На изображении показано постепенное изменение распределения данных. Сначала распределение представлено синими точками, которые со временем постепенно сменяются красными, а затем снова возвращаются к синим. Поначалу меняет цвет лишь одна точка, но со временем всё распределение становится красным.

На изображении показано сезонное изменение распределения данных. Сначала распределение представлено синими точками, которые резко переходят к красным, а затем снова возвращаются к синим. Цикл повторяется, демонстрируя периодический характер распределения.

Мониторинг систем машинного обучения

Как обнаружить сдвиг ковариат?

Одномерный метод

Распределение производственных значений по месяцам с сентября по март. Всего показано семь распределений. С сентября по декабрь распределения схожи и изменяются незначительно — в пределах допустимого, поэтому они окрашены в синий. С января по март распределения сужаются, а среднее смещается в сторону меньших значений, что отражается красным цветом как признак существенных изменений.

Многомерный метод

Процесс многомерного обнаружения дрейфа: многомерные данные сначала сжимаются в скрытое пространство, а затем восстанавливаются до исходного вида с определённой погрешностью.

1 https://app.datacamp.com/learn/courses/dimensionality-reduction-in-python
Мониторинг систем машинного обучения

Давайте потренируемся!

Мониторинг систем машинного обучения

Preparing Video For Download...