Доступність еталонної розмітки

Основи моніторингу Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Миттєва еталонна розмітка

Зображення таксі, що стосується прогнозування прибуття таксі.

Вимірює фактичну якість
Легка оцінка
Точно

Продакшн-дані — миттєво

Графік показує метрики для задачі класифікації: «reference period» — тестовий набір, «analysis period» — потік продакшн-даних. Також наведено табличний набір даних із підсвіченою еталонною розміткою.

Відкладена еталонна розмітка

Зображення порожнього гаманця, що стосується прогнозування дефолту за кредитом.

Затримка залежить від застосунку
Приклад — прогноз дефолту за кредитом
Поки що якість невідома
Потрібна оцінка якості

Продакшн-дані — із затримкою

Відсутня еталонна розмітка

Зображення страхової поліси, що стосується кейсу ціноутворення в страхуванні.

Є в повністю автоматизованих процесах
Приклад — ціноутворення в страхуванні
Фактична якість невідома
Потрібна оцінка якості

Продакшн-дані — відсутня

Давайте потренуємось!

Основи моніторингу Machine Learning