Эталонная архитектура: полностью автоматизированный MLOps

Полностью автоматизированный MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Что такое эталонная архитектура?

Эталонная архитектура — это шаблон для проектирования решений в различных IT-областях.

Набор документов, включающий:

Структуры и интеграции IT-элементов
Паттерны, типичные для IT-систем, в том числе ML-систем
Опыт и лучшие практики участников отрасли

Архитектура полностью автоматизированного MLOps

Изображение с общим обзором эталонной архитектуры полностью автоматизированного MLOps.

¹ https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning

Эталонная архитектура — оркестрированные эксперименты

Изображение с общим обзором эталонной архитектуры полностью автоматизированного MLOps. На изображении крупным планом показаны связанные блоки: слева направо — анализ данных, оркестрированный эксперимент, исходный код, репозиторий исходного кода.

Эталонная архитектура — исходный код и CI

Изображение сдвинуто влево. После репозитория исходного кода показан блок непрерывной интеграции. Блок сборки формирует пакеты на выходе.

Эталонная архитектура — артефакты и CD

Изображение сдвигается вниз, показывая блок непрерывной доставки.

Эталонная архитектура — развёртывание ML-конвейера

Изображение сдвигается влево, показывая автоматизированный ML-конвейер с этапами: извлечение данных, валидация данных, подготовка данных, обучение модели, оценка модели, валидация модели.

Эталонная архитектура — хранилище метаданных

Изображение сдвигается вниз, показывая хранилище метаданных, собирающее логи, сгенерированные ML-конвейером.

Эталонная архитектура — реестр моделей

Изображение сдвигается вверх и вправо, показывая, что модели, обученные ML-конвейером, передаются в реестр моделей.

Эталонная архитектура — сервисы предсказаний

Изображение сдвигается вниз, показывая, что модели, обученные ML-конвейером, непрерывно доставляются в модуль сервиса предсказаний архитектуры.

Эталонная архитектура — непрерывный мониторинг

Изображение сдвигается влево, показывая компонент мониторинга производительности, отслеживающий качество предсказаний сервиса предсказаний.

Эталонная архитектура — автоматизированный триггер

Изображение сдвигается ещё левее, показывая компонент триггера, связанный с модулем мониторинга производительности.

Эталонная архитектура — автоматизированное переобучение

Изображение сдвигается вверх, показывая, что триггер может запускать автоматизированный ML-конвейер в системе.