Автоматизоване тестування в MLOps

Повністю автоматизований MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Що таке тестування ПЗ?

$$

Процес оцінювання й перевірки, що програмний продукт або застосунок працює як очікується

$$

Три найпоширеніші типи тестування ПЗ:

  • Юніт-тести
  • Інтеграційні тести
  • End-to-end тести

$$

$$

Піраміда: в основі — юніт-тести, далі — інтеграційні тести, а зверху — end-to-end тести.

Повністю автоматизований MLOps

ПЗ для ML має іншу природу

ML-застосунки не програмують явно

$$

Процес, що ілюструє навчання в ML-системах.

Вони залежать від:

  • Даних
  • Моделей
Повністю автоматизований MLOps

Тестування в системі MLOps — інше

Схема: традиційна система ПЗ з юніт- та інтеграційними тестами, і ML-система з тестами даних, тестами моделі та тестами конвеєра.

1 https://research.google/pubs/pub46555/
Повністю автоматизований MLOps

Тестування ML-систем

$$

Окрім традиційного тестування ПЗ:

  • Тести даних
  • Тести моделі
  • Тести конвеєра
Повністю автоматизований MLOps

Тестування даних

Тести для ознак і даних охоплюють:

  • Очікування щодо ознак
  • Значення ознаки з даних виправдовує її вартість
  • Контроль приватності
  • Уникнення використання неправомірних даних

$$

Набір термометрів із різними показами.

Повністю автоматизований MLOps

Тестування моделей

Тести для моделей охоплюють:

  • Кореляцію бізнес- і ML-метрик

  • Налаштовано всі гіперпараметри

  • Перевчитування моделі

  • Застарівання моделі
  • Порівняння з базовою моделлю
Повністю автоматизований MLOps

Тестування ML-конвеєрів

Тести для ML-конвеєрів охоплюють:

  • Відтворюваність навчання

  • Інтеграційне тестування ML-конвеєра

  • Можливість налагодження моделі

Повністю автоматизований MLOps

Давайте потренуємось!

Повністю автоматизований MLOps

Preparing Video For Download...