Як впоратися з дрейфом концепції?

Основи моніторингу Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Виявлення дрейфу концепції

  • Методи на основі похибки
    • відстеження зміни похибки з часом
    • потрібна еталонна розмітка (ground truth)

 

  • Навчіть нову модель на тренувальних і продакшн-даних
    • зміна в передбаченнях = дрейф концепції
    • дорого для складніших кейсів
Основи моніторингу Machine Learning

Перенавчання

Зображено два графіки. Перший показує поступове падіння точності моделі з часом. Другий — невелике зниження, потім перенавчання, після чого точність зростає. Процес повторюється періодично.

Переваги:

  • модель актуальна до нових патернів

 

Недоліки:

  • вищі витрати та ризик збоїв
  • не дає кореневої причини проблеми
Основи моніторингу Machine Learning

Онлайн-навчання

Схема циклу онлайн-навчання: дані з застосунку надходять у базу даних і одразу використовуються для оновлення моделі. Оновлену модель знову розгортають.

Переваги:

  • адаптація в реальному часі до змін

 

Недоліки:

  • потрібен постійний доступ до ground truth
  • чутливість до шуму
  • потребує ретельного налаштування параметрів
Основи моніторингу Machine Learning

Інші підходи

 

  • Модель під подію для регулярних повторень

 

  • Зважування важливості нових даних
    • з більшим фокусом на нові дані модель легше адаптується

 

На шкалі часу: 23 листопада розгорнуто звичайну модель, 24 листопада — модель Black Friday. Далі знову повертаються до звичайної моделі.

Основи моніторингу Machine Learning

Давайте потренуємось!

Основи моніторингу Machine Learning

Preparing Video For Download...