Хранилище признаков в автоматизированной архитектуре MLOps

Полностью автоматизированный MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Признаки в машинном обучении

$$

Проектирование признаков

Выбор, обработка и преобразование исходных данных для создания признаков, используемых в качестве входных данных для алгоритмов машинного обучения

Специалист в костюме рядом с листами бумаги и шестерёнками, символизирующий процесс обработки данных.

$$

Примеры:

  • Числовые преобразования
  • Кодирование категорий
  • Группировка значений
  • Конструирование новых признаков
Полностью автоматизированный MLOps

Проектирование признаков на предприятии

$$

Архитектурная схема: источники данных — пакетные и потоковые — обрабатываются командой специалистов по данным в типичном процессе проектирования признаков.

Полностью автоматизированный MLOps

Проектирование признаков на предприятии

$$

Та же архитектурная схема, но с дополнительной командой, независимо потребляющей источники данных и выполняющей проектирование признаков в своём изолированном контуре.

Полностью автоматизированный MLOps

Проектирование признаков на предприятии

$$

Продолжение предыдущей схемы: третья команда также работает с теми же источниками данных и проектирует признаки в своём изолированном контуре.

Полностью автоматизированный MLOps

Хранилище признаков

$$

  • Централизованный репозиторий признаков

  • Устранение дублирования работы за счёт автоматизации

  • Стандартизация преобразований

  • Централизованное хранилище

  • Подача признаков для пакетной и потоковой обработки

$$

Архитектурная схема: источники данных поступают в хранилище признаков. Внутри хранилища данные преобразуются, созданные признаки сохраняются, а затем хранилище подаёт их для дальнейшего использования.

Полностью автоматизированный MLOps

Хранилище признаков – ускорение экспериментирования

$$

  • Ускорение экспериментирования
    • Выгрузка данных для экспериментов
    • Поиск и выбор признаков
    • Исключение дублирующихся определений одинаковых признаков

$$

Архитектурная схема. Хранилище признаков расположено горизонтально и передаёт признаки в оркестрированные эксперименты среды разработки и экспериментирования.

Полностью автоматизированный MLOps

Хранилище признаков – непрерывное обучение

$$

  • Непрерывное обучение (CT)
    • Выгрузка данных для автоматизированных конвейеров в продакшене

$$

Архитектурная схема. Хранилище признаков расположено горизонтально и передаёт данные компоненту непрерывного обучения в среде staging/production.

Полностью автоматизированный MLOps

Хранилище признаков – онлайн-предсказания

$$

  • Онлайн-предсказания
    • Использование заранее подготовленных признаков в сервисах предсказания

$$

Архитектурная схема. Хранилище признаков расположено горизонтально и передаёт признаки сервису предсказания.

Полностью автоматизированный MLOps

Хранилище признаков – симметрия сред

$$

  • Устраняет расхождение между обучением и обслуживанием

$$

Архитектурная схема. Хранилище признаков расположено горизонтально и передаёт признаки оркестрированным конвейерам, компоненту непрерывного обучения и сервисам предсказания во всех средах.

Полностью автоматизированный MLOps

Давайте потренируемся!

Полностью автоматизированный MLOps

Preparing Video For Download...