Безпосередній моніторинг технічної ефективності

Основи моніторингу Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Зв'язок між ковариативним зсувом і ефективністю

Три ковариативні зсуви:

  • Зсуви до певних регіонів

    • більше людей з високим доходом подають заявки на кредити

  • Зсуви до недостатньо представлених регіонів

    • замість 0,5% у тренувальних даних маємо 10% технічних фахівців, що подають заявки

  • Зсуви до менш певних регіонів

    • зростання з 20% до 40% людей із середнім доходом, близьких до межі рішення

 

-> Без впливу

 

-> Невідомий вплив

 

-> Негативний вплив

Основи моніторингу Machine Learning

Гарантовано негативний вплив

 
 
 
 

Ковариативний зсув у непевні регіони завжди погіршує ефективність

Візуалізація тренувального періоду підсвічує область, де модель найменш упевнена. У продакшні людей у цій області стає більше, ніж раніше.

Основи моніторингу Machine Learning

Проблема хибних сповіщень

Зображення показує точки-сповіщення й те, як важливі точки губляться, коли їх надто багато

Основи моніторингу Machine Learning

Важливість технічної ефективності

  • Пряма метрика того, наскільки добре модель виконує завдання

 

  • Відображає приховані збої моделі

 

  • Усуває перевантаження хибними сповіщеннями

Зображено фрагмент діаграми моніторингу. У першому блоці — Performance monitoring; під ним, пунктиром з'єднано блок «is model still performing?» у рамці; праворуч ромб «performance degradation»; далі стрілка праворуч із «yes» зверху; і стрілка, що петлею повертається до блоку performance monitoring, із «no» зверху.

Основи моніторингу Machine Learning

Давайте потренуємось!

Основи моніторингу Machine Learning

Preparing Video For Download...