Процесс развёртывания и тестирования

MLOps: развёртывание и жизненный цикл моделей

Nemanja Radojkovic

Senior Machine Learning Engineer

Не так быстро!

 

 

 

 

• Не спешите с развёртыванием — сначала проведите тщательное тестирование!

План

ВИДЫ ТЕСТОВ

• Модульные тесты
• Интеграционные тесты
• Дымовые тесты
• Нагрузочные тесты
• Приёмочные тесты

СРЕДЫ РАЗРАБОТКИ, РАЗВЁРТЫВАНИЯ И ТЕСТИРОВАНИЯ

• Разработка
• Тестирование
• Промежуточная среда
• Продакшн

 

ВНЕ ОХВАТА: Качество предсказаний модели

В ОХВАТЕ: Тестирование ML-приложения в целом

Модульное тестирование

Проверка того, что отдельные блоки кода работают как ожидается

ПРИМЕР

Тестируемая функция:

def add_two_numbers(x, y):
    return x + y

Модульный тест:

add_two_numbers(1, 1) == 2
add_two_numbers(2, 3) == 5

Одно слабое звено разрушает всю систему

Важно тщательно контролировать, что именно попадает в продакшн.

 

 

 

Катастрофа шаттла «Челленджер» в 1986 году произошла из-за неисправного резинового уплотнительного кольца

Давайте потренируемся!

MLOps: развёртывание и жизненный цикл моделей