Моніторинг ML‑сервісів

Розгортання та життєвий цикл MLOps

Nemanja Radojkovic

Senior Machine Learning Engineer

Підтримання якості

• Платні клієнти == очікування якості
• Гарантія якості починається з контролю якості
• Моніторинг

Показники ефективності

Базові індикатори стану

• Сервіс працює?
• Кількість запитів у часі?
• Розподіл затримки?

 

Головна метрика якості

• Прогностична ефективність

Як моделі ML деградують?

Давайте потренуємось!

Розгортання та життєвий цикл MLOps