Хранилище метаданных

Полностью автоматизированный MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Что такое метаданные в MLOps?

Метаданные — это сведения об артефактах,
- создаваемых в процессе работы компонентов ML-конвейера

Представлен конвейер машинного обучения со следующими этапами: извлечение данных, валидация данных, обучение модели, оценка модели и валидация модели.

Примеры метаданных:

Версионирование данных: хранятся разные версии одних и тех же данных
Метаданные об артефактах обучения, например гиперпараметры
Журналы выполнения конвейера

¹ https://datacentricai.org/

Ключевые аспекты метаданных в ML

Происхождение данных
Воспроизводимость
Мониторинг
Регуляторные требования

Важность метаданных — происхождение данных

Метаданные о происхождении данных отслеживают информацию о данных:
- от точки их создания
- до точек их потребления

Иллюстрация концепции происхождения данных. Показано, как данные могут преобразовываться несколькими процессами между источником и точкой потребления.

Важность метаданных — воспроизводимость

Метаданные об экспериментах по машинному обучению:
- Позволяют другим воспроизвести результаты
- Повышают доверие к ML-системам
- Привносят научную строгость в ML-процесс

Иллюстрация концепции воспроизводимости. Изображена группа учёных, наблюдающих друг за другом через телескоп, чтобы воспроизвести результаты коллег.

Важность метаданных — мониторинг

Метаданные позволяют ML-инженерам:
- Отслеживать выполнение отдельных частей конвейера MLOps
- Проверять состояние ML-системы в любой момент

Пример инструмента мониторинга

Пример панели мониторинга с различными метриками работающей системы MLOps.

¹ https://cloud.google.com/stackdriver/docs/solutions/gke/observing

Хранилище метаданных

Централизованное место для управления всеми метаданными MLOps:
- эксперименты (журналы)
- артефакты
- модели
- конвейеры
Имеет пользовательский интерфейс для:
- чтения и записи всех метаданных, связанных с моделями

Иллюстрация хранилища метаданных. Показано централизованное хранилище, к которому обращаются различные участники и процессы.

¹ https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning

Хранилище метаданных в архитектуре MLOps

Схема полностью автоматизированной архитектуры MLOps. Показана центральная роль хранилища метаданных в процессе MLOps.

Хранилище метаданных в полностью автоматизированном MLOps

Оно обеспечивает автоматический мониторинг работы полностью автоматизированного конвейера MLOps

Поддерживая автоматическое реагирование на инциденты. Например:
- Автоматическое переобучение модели
- Автоматический откат изменений

График переобучения модели, вызванного дрейфом в ML-системе. По оси X — время, по оси Y — производительность. Показаны три кривые с участками спада, обозначающими дрейф. Точка дрейфа отмечена как «дрейф обнаружен», после чего начинается новая кривая производительности для новой модели.

Давайте потренируемся!

Полностью автоматизированный MLOps