Modellträning med MLFlow i Databricks

Databricks – grundläggande koncept

Kevin Barlow

Data Practitioner

Maskininlärningens livscykel

¹ https://www.datacamp.com/blog/machine-learning-lifecycle-explained

Modellträning och modellutveckling

Maskininlärningens livscykel – modellering

En nod vs. flera noder

Maskininlärning på en nod

Utmärkt för experiment och uppstart
Enklare att komma igång
Svårare att använda i produktion

scikit-learn logo

Maskininlärning på flera noder

Utmärkt för produktionsarbetsbelastningar
Enklare underhåll på sikt
Mycket skalbar

Apache Spark logo

AutoML

"Glass box"-metod för automatiserad maskininlärning
Använder sig av bibliotek med öppen källkod
Skapar modeller utifrån data och valt prediktionsmål
Genererar en notebook med kod för vidare arbete

AutoML-exempel

¹ https://www.databricks.com/product/automl

MLFlow

Ramverk med öppen källkod
Hantering av maskininlärningens hela livscykel
Spåra, utvärdera, hantera och driftsätta
Förinstallerat i ML Runtime!

import mlflow

with mlflow.start_run() as run:
  # machine learning training

mlflow.autolog()

mlflow.log_metric('accuracy', acc)

mlflow.lot_param('k', kNum)

MLFlow Experiments

Samla information från flera körningar på ett ställe
Sortera och jämför modellkörningar
Hitta och uppgradera den bästa modellen

MLFlow Experiments

Nu kör vi en övning!

Databricks – grundläggande koncept