Автоматизированное тестирование в MLOps

Полностью автоматизированный MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Что такое тестирование ПО?

Процесс оценки и проверки того, что программный продукт или приложение работает как ожидается

Три наиболее распространённых вида тестирования ПО:

Модульные тесты
Интеграционные тесты
Сквозные тесты

Пирамида тестирования: в основании — модульное тестирование, затем интеграционное, на вершине — сквозное тестирование.

ML-программное обеспечение имеет иную природу

ML-приложения не программируются явным образом

Схема, иллюстрирующая процесс обучения в ML-системах.

Они зависят от:

Данных
Моделей

Тестирование в MLOps-системах имеет свою специфику

Схема: традиционная программная система тестируется с помощью модульных и интеграционных тестов; ML-система — с помощью тестов данных, тестов моделей и тестов пайплайнов.

¹ https://research.google/pubs/pub46555/

Тестирование ML-систем

В дополнение к традиционному тестированию ПО:

Тесты данных
Тесты моделей
Тесты пайплайнов

Тестирование данных

Тесты признаков и данных включают:

Проверку ожиданий по признакам
Оценку ценности признаков относительно их стоимости
Контроль конфиденциальности
Исключение использования незаконных данных

Набор термометров с различными показателями.

Тестирование моделей

Тесты моделей включают:

Корреляцию бизнес-метрик и метрик ML
Настройку всех гиперпараметров
Переобучение модели
Устаревание модели
Сравнение с базовым уровнем

Тестирование ML-пайплайнов

Тесты ML-пайплайнов включают:

Воспроизводимость обучения
Интеграционное тестирование ML-пайплайна
Отлаживаемость модели

Давайте потренируемся!

Полностью автоматизированный MLOps