Что такое концептуальный дрейф?

Мониторинг систем машинного обучения

Hakim Elakhrass

Co-founder and CEO of NannyML

Определение

Изменение связи между входными данными модели и целевой переменной

$P(Y|X)$ меняется, $P(X)$ остаётся прежним

На изображении показано изменение связи между доходом и возрастом в продакшене по сравнению с обучающей средой.

Почему возникает дрейф?

Внешние события
- вирусные тренды, изменения в законодательстве
Неучтённая сезонность
- при прогнозировании спроса — «Чёрная пятница» или Рождество
Изменения в процессе сбора данных
- обновление приложения для сбора данных
Меняющееся поведение пользователей
- привычки, паттерны и предпочтения постоянно изменяются

Динамика концептуального дрейфа

Внезапный дрейф — новая концепция возникает за короткое время

Постепенный дрейф — новая концепция постепенно вытесняет старую

Повторяющийся — старая концепция периодически возвращается

На изображении показан текст «Covid-19».

На изображении показаны американские банкноты.

На изображении показан плакат со скидкой 50% в «Чёрную пятницу».

Влияние ковариатного сдвига на концептуальный дрейф

Отрицательный
- влияние концептуального дрейфа снижается

Положительный
- влияние концептуального дрейфа усиливается

На изображении показан ковариатный сдвиг между фазами обучения и продакшена: признак дохода сместился с 80 тыс. в год до 100 тыс. в год. На втором графике показан концептуальный дрейф — изменение связи между доходом и прогнозируемым дефолтом по кредиту: вероятность дефолта растёт у заёмщиков с более низкими доходами.

На изображении показан ковариатный сдвиг между фазами обучения и продакшена: признак дохода сместился с 80 тыс. в год до 60 тыс. в год. На втором графике показан концептуальный дрейф — изменение связи между доходом и прогнозируемым дефолтом по кредиту: вероятность дефолта растёт у заёмщиков с более низкими доходами.

Давайте потренируемся!

Мониторинг систем машинного обучения