Режими сервінгу

Розгортання та життєвий цикл MLOps

Nemanja Radojkovic

Senior Machine Learning Engineer

Сервінг і режим сервінгу

• Надання сервісу прогнозування == сервінг моделі
• Реалізація конкретного типу сервінгу == режим сервінгу

 

Обирайте зважено!

Пакетне прогнозування: простіше — краще

• Пакетне прогнозування — найпростіше
• Якщо кейс дозволяє — обирайте його
• Добрий приклад: щомісячний прогноз продажів

Прийнятна затримка

Що прийнятно?

• < 1 години?
• < 1 хвилини?
• < 1 секунди?
• < 1 мілісекунди?

Майже реальний час, або Stream processing

Прийнятна затримка ~= X хвилин

Також відомо як оброблення потоків (запити й відповіді утворюють «потоки даних»)

Прогноз у реальному часі

Прийнятна затримка < 1 с

Приклад:

• Виявлення шахрайства з картками
• Запізнілий прогноз майже марний

Коли пріоритет — низька затримка

• Слабша, але швидша модель цінніша за сильнішу, але повільну
• Моделі розгортають на пристроях користувачів, щоб зменшити затримку => «edge-розгортання»
  • Додатки зі вбудованим ML:
    • навігаційні застосунки
    • розблокування за обличчям
    • фільтри зображень

Давайте потренуємось!

Розгортання та життєвий цикл MLOps