Trénování modelů s MLFlow v Databricks

Databricks Concepts

Kevin Barlow

Data Practitioner

Životní cyklus strojového učení

¹ https://www.datacamp.com/blog/machine-learning-lifecycle-explained

Trénování a vývoj modelů

Životní cyklus strojového učení – Modelování

Jeden uzel vs. více uzlů

Strojové učení na jednom uzlu

Vhodné pro experimentování a začátky
Snadné počáteční nastavení
Obtížné nasazení do produkce

scikit-learn logo

Strojové učení na více uzlech

Vhodné pro produkční zátěže
Snadnější dlouhodobá údržba
Vysoká škálovatelnost

Apache Spark logo

AutoML

Přístup „skleněné krabice" k automatizovanému ML
Využívá open-source knihovny
Vytváří modely na základě dat a cílové predikce
Poskytuje notebook s vygenerovaným kódem pro další práci

Příklad AutoML

¹ https://www.databricks.com/product/automl

MLFlow

Open-source framework
Správa celého životního cyklu ML
Sledování, hodnocení, správa a nasazení
Předinstalováno v ML Runtime!

import mlflow

with mlflow.start_run() as run:
  # machine learning training

mlflow.autolog()

mlflow.log_metric('accuracy', acc)

mlflow.lot_param('k', kNum)

MLFlow Experimenty

Shromažďuje informace z více běhů na jednom místě
Třídění a porovnání běhů modelů
Nalezení a povýšení nejlepšího modelu

MLFlow Experimenty

Pojďme si procvičit!

Databricks Concepts