Автоматизоване відстеження експериментів

Повністю автоматизований MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Машинне навчання має експериментальний характер

Багато «важелів» для експериментів:

Перетворення даних
- Використані ознаки
Алгоритми навчання
- Налаштування гіперпараметрів
Метрики оцінювання
- Precision, recall тощо

Великий простір можливостей!

Фото кількох антен, спрямованих у небо, всіяне зорями. Ілюструє великий простір, який важко повністю дослідити.

Проблеми ручних робочих процесів ML

Брак автоматизації = проблеми в ручних ML-процесах

Важко відстежувати експерименти та результати
Втрата часу й ресурсів
Складно відтворювати/ділитися результатами

Зображення дуже роздратованого дата-сайєнтиста перед ноутбуком.

Автоматизоване логування в ML

Важливо логувати таке:

Код
Середовище
Дані
Параметри
Метрики

Важливість логування

Логування потрібне для:

Відтворюваності експериментів у ML-системах.
Відстеження продуктивності та ухвалення обґрунтованих рішень.
Виявлення потенційних проблем для покращення.

Відтворюваність забезпечує прозорість і є критичною для довіри до систем.

Система автоматизованого відстеження експериментів

Організуйте логи за запуском або експериментом, щоб:

Бачити метадані навчання моделі
Порівнювати запуски навчання
Відтворювати запуски навчання

Схема ІТ-архітектури. Система відстеження експериментів має два компоненти: панельну UI та програмний інтерфейс доступу. Користувачі працюють через панель, інші компоненти — через програмний доступ. Система відстеження записує та читає з іншого компонента, відповідального за зберігання логів.

Автоматизоване відстеження експериментів — сучасний ринок

Інструменти для автоматизації відстеження експериментів:

TensorBoard

MLFlow

Weights & Biases

Neptune

Логотип TensorFlow.

$$ Логотип Weights & Biases.

Логотип Neptune.AI.

Давайте потренуємось!

Повністю автоматизований MLOps