Навчання моделей з MLFlow у Databricks

Концепції Databricks

Kevin Barlow

Data Practitioner

Життєвий цикл машинного навчання

¹ https://www.datacamp.com/blog/machine-learning-lifecycle-explained

Навчання та розробка моделей

Життєвий цикл ML — моделювання

Один вузол vs. кілька вузлів

Машинне навчання на одному вузлі

Добре для експериментів і старту
Просте початкове налаштування
Складно впроваджувати в продакшн

логотип scikit-learn

Машинне навчання на кількох вузлах

Підходить для продакшн-навантажень
Легше обслуговувати в довгостроковій перспективі
Висока масштабованість

логотип Apache Spark

AutoML

Підхід «скляної коробки» до AutoML
Використовує open-source бібліотеки
Створює моделі на основі даних і цілі прогнозу
Надає нотатник зі згенерованим кодом для подальшої роботи

Приклад AutoML

¹ https://www.databricks.com/product/automl

MLFlow

Open-source фреймворк
Керування повним життєвим циклом ML end-to-end
Відстеження, оцінювання, керування й розгортання
Попередньо встановлено в ML Runtime!

import mlflow

with mlflow.start_run() as run:
  # machine learning training

mlflow.autolog()

mlflow.log_metric('accuracy', acc)

mlflow.lot_param('k', kNum)

MLFlow Experiments

Збирайте інформацію з багатьох запусків в одному місці
Сортуйте й порівнюйте запуски моделей
Знаходьте та підвищуйте найкращу модель

MLFlow Experiments

Давайте потренуємось!

Концепції Databricks