Поддержка модели

MLOps: развёртывание и жизненный цикл моделей

Nemanja Radojkovic

Senior Machine Learning Engineer

Ранее...

  • Как выявлять аномалии и сбои?

 

Тема урока: сбои ML-модели

MLOps: развёртывание и жизненный цикл моделей

модель деградировала

MLOps: развёртывание и жизненный цикл моделей

улучшить модель

MLOps: развёртывание и жизненный цикл моделей

улучшить набор данных

MLOps: развёртывание и жизненный цикл моделей

ориентация на модель

MLOps: развёртывание и жизненный цикл моделей

ориентация на данные

1 https://datacentricai.org/
MLOps: развёртывание и жизненный цикл моделей

Качество важнее количества

  • Получите больше признаков с полезной информацией
  • Улучшите разметку

 

Метка == значение целевой переменной в обучающей выборке

Качество меток == близость метки к истинному значению

MLOps: развёртывание и жизненный цикл моделей

плохие метки

MLOps: развёртывание и жизненный цикл моделей

плохие предсказания

MLOps: развёртывание и жизненный цикл моделей

Преимущества инструментов разметки

Ручная разметка сложна, занимает много времени и подвержена ошибкам

Используйте качественные инструменты разметки!

  • Разметка становится эффективнее
  • Точность выше
  • Интерфейс соответствует задаче
  • «Разметьте эти примеры первыми для максимального эффекта»
  • «Кажется, здесь допущена ошибка»

инструмент разметки

Пример: инструмент разметки изображений для построения классификаторов

MLOps: развёртывание и жизненный цикл моделей

человек в контуре управления

MLOps: развёртывание и жизненный цикл моделей

HIL 2

MLOps: развёртывание и жизненный цикл моделей

экспертный ввод

MLOps: развёртывание и жизненный цикл моделей

MLOps: развёртывание и жизненный цикл моделей

Когда поступают метки

  • Запустите конвейер построения ML => новая модель
  • Проверьте, лучше ли новая модель старой
    • ДА => тестирование и развёртывание
    • НЕТ => продолжайте поиск
MLOps: развёртывание и жизненный цикл моделей

Продолжайте поиск

  • Попробуйте новые модели
  • Попробуйте новые признаки
  • Попробуйте новые источники данных

 

Крайне полезно: хранилище метаданных (MLFlow Tracking и др.)

  • Документируйте процесс выбора модели
  • Избегайте повторения одних и тех же экспериментов

 

В любом случае: MLOps помогает поддерживать модель быстро и эффективно

MLOps: развёртывание и жизненный цикл моделей

Давайте потренируемся!

MLOps: развёртывание и жизненный цикл моделей

Preparing Video For Download...