MLOps на Kubernetes

Введение в Kubernetes

Frank Heilmann

Platform Architect and Freelance Instructor

Что такое MLOps?

Парадигма развёртывания и поддержки моделей машинного обучения в продакшене
Набор лучших практик с акцентом на непрерывную разработку таких моделей
Вдохновлён DevOps:
- Модели разрабатываются и тестируются в изолированных экспериментальных средах, затем развёртываются в продакшене
- В продакшене ведётся непрерывный мониторинг; при необходимости запускается переобучение
Специалисты по данным, дата-инженеры и IT-команды могут совместно работать над развёрнутыми моделями и контролировать их точность

Парадигма MLOps хорошо ложится на архитектуру Kubernetes:
- Изолированные экспериментальные среды: реализуются через поды и хранилище Kubernetes
- Мониторинг ML-моделей в продакшене: обеспечивается через жизненный цикл подов (и версий развёрнутых образов)
- Совместная работа над точностью модели: заложена в архитектуру Kubernetes изначально
Существует несколько фреймворков для MLOps; два наиболее известных решения с открытым исходным кодом —
- mlflow
- Kubeflow

Обзор Kubeflow

Kubeflow упрощает развёртывание ML-рабочих процессов непосредственно на Kubernetes
Охватывает каждый этап жизненного цикла ML-модели
Состоит из нескольких независимых компонентов, каждый из которых отвечает за отдельный этап
Для разработки и развёртывания ML-моделей можно использовать Python через API
- без необходимости использовать kubectl

Введение в Kubernetes