Обучение моделей с MLFlow в Databricks

Концепции Databricks

Kevin Barlow

Data Practitioner

Жизненный цикл машинного обучения

¹ https://www.datacamp.com/blog/machine-learning-lifecycle-explained

Обучение и разработка моделей

Жизненный цикл машинного обучения — моделирование

Один узел против нескольких узлов

Одноузловое машинное обучение

Хорошо подходит для экспериментов
Простая начальная настройка
Сложно применять в продакшене

scikit-learn logo

Многоузловое машинное обучение

Подходит для производственных нагрузок
Удобно в долгосрочном обслуживании
Высокая масштабируемость

Apache Spark logo

AutoML

Подход «стеклянного ящика» к автоматизированному машинному обучению
Использует библиотеки с открытым исходным кодом
Строит модели на основе данных и целевого прогноза
Формирует ноутбук с готовым кодом для дальнейшей работы

Пример AutoML

¹ https://www.databricks.com/product/automl

MLFlow

Фреймворк с открытым исходным кодом
Управление полным жизненным циклом машинного обучения
Отслеживание, оценка, управление и развёртывание
Предустановлен в ML Runtime!

import mlflow

with mlflow.start_run() as run:
  # machine learning training

mlflow.autolog()

mlflow.log_metric('accuracy', acc)

mlflow.lot_param('k', kNum)

Эксперименты MLFlow

Сбор данных по нескольким запускам в одном месте
Сортировка и сравнение запусков моделей
Поиск и продвижение лучшей модели

Эксперименты MLFlow

Давайте потренируемся!

Концепции Databricks