Розгортання моделі

End-to-End Machine Learning

Joshua Stapleton

Machine Learning Engineer

Model-as-a-service

  • Стейкхолдери / користувачі звертаються до моделі через інтернет

  • Показати модель через портал

    • Користувачі надсилають запити / дані
    • Отримують діагноз / прогнози

  • Застереження:

    • Сільська клініка / немає доступу до інтернету
    • Високозахищене середовище / чутливі дані

Символ порталу: модель як сервіс

End-to-End Machine Learning

Розгортання на пристрої

Інтегровані архітектури розгортання

  • Edge computing
  • Корисно за ненадійного інтернету

Шестерні в голові: обчислення на пристрої

End-to-End Machine Learning

Переваги та недоліки розгортання на пристрої

Переваги:

  • Нижча затримка
  • Безпека
  • Робота у віддалених / відключених районах

Недоліки:

  • Обмежені ресурси
  • Оновлення моделі
  • Моніторинг
End-to-End Machine Learning

Стратегії впровадження

  • Pruning
  • Transfer Learning
  • Використовуйте спеціалізовані фреймворки

Піктограма, що показує стратегію

End-to-End Machine Learning

Давайте потренуємось!

End-to-End Machine Learning

Preparing Video For Download...