Виклики моніторингу моделей ML

Основи моніторингу Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Компоненти проєкту з машинного навчання

Діаграма Венна з трьома колами показує галузі розробки ПЗ, аналітики даних і машинного навчання; їх перетин утворює науку про дані.

Модель не дає прогнозів

Можливі проблеми:

Мовні барʼєри — поєднання різних мов програмування за допомогою «клейового» коду

Підтримка коду — несумісність через оновлені залежності

Масштабування — інфраструктура не витримує більше користувачів

Збої у прогнозах моделі

Зсув коваріатів

Зміна розподілу вхідних даних
Можна виявити статистичними методами
Не кожен дрейф впливає на якість

Гістограма щільності для віку клієнтів у тренувальному та продукційному наборах: тренувальний зміщений до молодших вікових значень. Продукційний подібний, але має сплеск у старших віках.

Концептуальний дрейф

Зміна звʼязку між вхідними даними та цілями
Важко виявити
Майже завжди впливає на бізнес-ефект моделі

Існує залежність між CLV і ознакою Age у тренувальному та продукційному наборах. Однак у продакшні вона змінюється — ознака концептуального дрейфу.

Доступність еталонної істини

Зображення магазину одягу.

Давайте потренуємось!

Основи моніторингу Machine Learning