Ідеальний процес моніторингу

Основи моніторингу Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Процеси моніторингу

Традиційний процес моніторингу

  • Обчислення технічної продуктивності

  • Сповіщення за зсувами у вхідних даних

  • Призводить до багатьох хибних тривог

Ідеальний процес моніторингу

  • Моніторинг технічної продуктивності

    • Обчислення та оцінка продуктивності

  • Аналіз першопричин

    • Дозволяє пов'язувати зсуви зі спадом продуктивності

 

Ідеальний процес моніторингу: спершу моніторинг продуктивності. Якщо є деградація, проводять аналіз першопричин, а далі — усунення проблеми.

Основи моніторингу Machine Learning

Моніторинг продуктивності

Включає:

  • Обчислення продуктивності — для технічних метрик на кшталт accuracy

 

  • Оцінювання продуктивності — коли ground truth недоступна

 

  • Вимірювання бізнес-ефекту — моніторинг ключових показників

  Графік точності з часом: точність знижується і виходить за поріг.

Графік KPI з часом: показники лишаються в межах заданих порогів.

Основи моніторингу Machine Learning

Аналіз першопричин

Мета — дослідити:

 

  • Covariate shift — зсув розподілу вхідних даних

 

  • Concept drift — зміни у зв'язку між ознаками та цілями

Графік показує межу рішення між синіми і червоними колами для робочої моделі.

Графік демонструє зсув: сині кола перетинають межу рішення, що вказує на covariate shift.

Графік ілюструє зміну межі рішення, що свідчить про concept drift.

Основи моніторингу Machine Learning

Усунення проблем

Можливі рішення:

  • Перенавчання — потребує додаткових даних і обчислень

 

  • Рефакторинг кейсу — зробіть крок назад і переосмисліть методи

 

  • Зміни у downstream-процесах — модифікуйте процеси навколо прогнозу

  Зображення цифрового мозку (модель ML) та знак «плюс», з'єднаний із базою даних — перенавчання моделі на більшій кількості даних.

Планшет для нотаток із питаннями про інженерію ознак, використані ознаки та лінійну регресію.

Працівник вручну перевіряє щось на комп'ютері.

Основи моніторингу Machine Learning

Давайте потренуємось!

Основи моніторингу Machine Learning

Preparing Video For Download...