Підтримка моделей

Розгортання та життєвий цикл MLOps

Nemanja Radojkovic

Senior Machine Learning Engineer

Раніше…

  • Як виявляти аномалії та збої?

 

Фокус цього уроку: відмова ML‑моделі

Розгортання та життєвий цикл MLOps

модель погіршилась

Розгортання та життєвий цикл MLOps

поліпшити модель

Розгортання та життєвий цикл MLOps

поліпшити набір даних

Розгортання та життєвий цикл MLOps

орієнтація на модель

Розгортання та життєвий цикл MLOps

орієнтація на дані

1 https://datacentricai.org/
Розгортання та життєвий цикл MLOps

Якість понад кількість

  • Додайте більше ознак із релевантною інформацією
  • Отримайте кращі мітки

 

Мітка == значення цільової змінної в тренувальному наборі

Якість мітки == наближеність мітки до еталонної істини

Розгортання та життєвий цикл MLOps

погані мітки

Розгортання та життєвий цикл MLOps

поганий прогноз

Розгортання та життєвий цикл MLOps

Переваги інструментів маркування

Ручне маркування складне, тривале й помилкове

Користуйтеся якісними інструментами маркування!

  • Маркування ефективніше
  • Точність вища
  • Інтерфейс під завдання
  • «Спершу промаркуйте ці приклади для максимального ефекту»
  • «Здається, тут ви припустилися помилки»

інструмент маркування

Приклад: інструмент маркування зображень для створення класифікаторів

Розгортання та життєвий цикл MLOps

людина в циклі

Розгортання та життєвий цикл MLOps

HIL 2

Розгортання та життєвий цикл MLOps

вклад експерта

Розгортання та життєвий цикл MLOps

Розгортання та життєвий цикл MLOps

Коли надходять мітки

  • Запустіть конвеєр складання ML => нова модель
  • Перевірте, чи нова модель краща за попередню
    • ТАК => тестуйте й розгортайте
    • НІ => продовжуйте пошук
Розгортання та життєвий цикл MLOps

Продовжуйте пошук

  • Спробуйте нові моделі
  • Спробуйте нові ознаки
  • Спробуйте нові джерела даних

 

Дуже корисно: сховище метаданих (MLflow Tracking тощо)

  • Документуйте шлях добору моделі
  • Уникайте повторення тих самих експериментів

 

У будь‑якому разі: MLOps допомагає підтримувати модель якнайшвидше й найефективніше

Розгортання та життєвий цикл MLOps

Давайте потренуємось!

Розгортання та життєвий цикл MLOps

Preparing Video For Download...