Автоматическое отслеживание экспериментов

Полностью автоматизированный MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Машинное обучение носит экспериментальный характер

Множество «рычагов» для экспериментов:

  • Преобразования данных
    • Используемые признаки
  • Алгоритмы обучения
    • Подбор гиперпараметров
  • Метрики оценки
    • Точность, полнота и др.
Полностью автоматизированный MLOps

Огромное пространство возможностей!

$$

Фотография нескольких антенн, направленных в звёздное небо. Образ иллюстрирует огромное пространство, которое сложно исследовать полностью.

Полностью автоматизированный MLOps

Проблемы ручных процессов машинного обучения

Отсутствие автоматизации = проблемы в ручных ML-процессах

  • Трудно отслеживать эксперименты и результаты
  • Потеря времени и ресурсов
  • Сложно воспроизвести и передать результаты

Дата-сайентист с явным раздражением смотрит в экран ноутбука.

Полностью автоматизированный MLOps

Автоматическое логирование в ML

Важные элементы для логирования:

  • Код
  • Среда
  • Данные
  • Параметры
  • Метрики
Полностью автоматизированный MLOps

Важность логирования

Логирование необходимо для:

  • Воспроизводимости экспериментов в ML-системах.
  • Отслеживания производительности системы и принятия обоснованных решений.
  • Выявления проблем и точек для улучшения.

$$

Воспроизводимость обеспечивает прозрачность и является ключом к надёжности систем.

Полностью автоматизированный MLOps

Система автоматического отслеживания экспериментов

$$

Организуйте логи по запускам или экспериментам, чтобы:

  • Просматривать метаданные обучения модели
  • Сравнивать запуски обучения
  • Воспроизводить запуски обучения

$$

Схема IT-архитектуры. Система отслеживания экспериментов состоит из двух компонентов: интерфейса панели управления и программного интерфейса доступа. Панель управления доступна пользователям системы. Программный доступ используется другими компонентами архитектуры. Система отслеживания экспериментов записывает и считывает данные из компонента хранения логов.

Полностью автоматизированный MLOps

Автоматическое отслеживание экспериментов — рынок инструментов

Инструменты для автоматического отслеживания экспериментов:

  • TensorBoard

$$

  • MLFlow

$$

  • Weights & Biases

$$

  • Neptune

$$

Логотип TensorFlow.

$$

Логотип MLflow.

$$ Логотип Weights & Biases.

Логотип Neptune.AI.

Полностью автоматизированный MLOps

Давайте потренируемся!

Полностью автоматизированный MLOps

Preparing Video For Download...