Що таке дрейф концепції?

Основи моніторингу Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Визначення

Зміна зв'язку між вхідними даними моделі та ціллю

$P(Y|X)$ змінюється, $P(X)$ лишається незмінним

Зображення показує зміну зв'язку між доходом і віком у продакшні порівняно з тренувальним середовищем.

Чому виникає дрейф?

Зовнішні події
- вірусні тренди, зміни політик
Немодельована сезонність
- для прогнозування попиту: події на кшталт Black Friday чи Різдва
Зміни у процесі генерування даних
- нове оновлення застосунку збору даних
Еволюція поведінки користувачів
- звички, патерни, вподобання постійно змінюються

Динаміка дрейфу концепції

Раптовий дрейф — нова концепція з'являється за короткий час

Поступовий дрейф — нова концепція поступово витісняє стару

Повторюваний — стара концепція періодично повертається

Зображення з текстом Covid-19.

Зображення американських банкнот.

Плакат із знижками 50% на Black Friday.

Вплив зміщення коваріат на дрейф концепції

Негативний
- вплив дрейфу концепції зменшується

Позитивний
- вплив дрейфу концепції посилюється

Зображення ілюструє зміщення коваріат між тренуванням і продакшном. Зокрема, ознака доходу змістилась з 80k/year до 100k/year. На другому графіку показано дрейф концепції: змінився зв'язок між доходом і прогнозованим дефолтом за кредитом. У підсумку ймовірність дефолту вища для заявників із нижчими доходами.

Зображення ілюструє зміщення коваріат між тренуванням і продакшном. Зокрема, ознака доходу змістилась з 80k/year до 60k/year. На другому графіку показано дрейф концепції: змінився зв'язок між доходом і прогнозованим дефолтом за кредитом. У підсумку ймовірність дефолту вища для заявників із нижчими доходами.

Давайте потренуємось!

Основи моніторингу Machine Learning