Профилирование, версионирование и хранилища признаков

MLOps: развёртывание и жизненный цикл моделей

Nemanja Radojkovic

Senior Machine Learning Engineer

Профилирование данных

 

 

Автоматический анализ данных и создание сводных описаний (профилей данных, ожиданий) для валидации и мониторинга данных в продакшене

Назначение ссылок 1

MLOps: развёртывание и жизненный цикл моделей

Назначение ссылок 1

MLOps: развёртывание и жизненный цикл моделей

Назначение ссылок 2

MLOps: развёртывание и жизненный цикл моделей

Назначение ссылок 3

MLOps: развёртывание и жизненный цикл моделей

Риски отказа от профилирования данных

  • Клиенты жалуются, хотя они сами передали модели некорректные данные
  • Невозможно обнаружить дрейф данных и понять, что модель устарела
MLOps: развёртывание и жизненный цикл моделей

чеклист профиля

MLOps: развёртывание и жизненный цикл моделей

great expectations

MLOps: развёртывание и жизненный цикл моделей

чеклист версионирования

MLOps: развёртывание и жизненный цикл моделей

стрелка версионирования

MLOps: развёртывание и жизненный цикл моделей

обеспечение воспроизводимости

MLOps: развёртывание и жизненный цикл моделей

не копия

MLOps: развёртывание и жизненный цикл моделей

данные на месте

MLOps: развёртывание и жизненный цикл моделей

просто указатель

MLOps: развёртывание и жизненный цикл моделей

версии обучающей и тестовой выборок

MLOps: развёртывание и жизненный цикл моделей

 

логотип dvc

 

 

 

  • Data
  • Version
  • Control
MLOps: развёртывание и жизненный цикл моделей

хранилище признаков

MLOps: развёртывание и жизненный цикл моделей

хранилище признаков как БД

MLOps: развёртывание и жизненный цикл моделей

переиспользование между проектами

MLOps: развёртывание и жизненный цикл моделей

двойная БД

MLOps: развёртывание и жизненный цикл моделей

высоконагруженная БД

MLOps: развёртывание и жизненный цикл моделей

БД с единой записью

MLOps: развёртывание и жизненный цикл моделей

переиспользование

MLOps: развёртывание и жизненный цикл моделей

расхождение обучения и обслуживания

MLOps: развёртывание и жизненный цикл моделей

письма

MLOps: развёртывание и жизненный цикл моделей

Давайте потренируемся!

MLOps: развёртывание и жизненный цикл моделей

Preparing Video For Download...