Modeltraining met MLflow in Databricks

Databricks-concepten

Kevin Barlow

Data Practitioner

Levenscyclus van machine learning

¹ https://www.datacamp.com/blog/machine-learning-lifecycle-explained

Modeltraining en -ontwikkeling

Levenscyclus van machine learning - Modelleren

Single-node vs. multi-node

Machine learning op één node

Fijn om te experimenteren en te starten
Makkelijker in te stellen
Lastig in productie

scikit-learn-logo

Machine learning op meerdere nodes

Ideaal voor productie
Langdurig makkelijker te beheren
Zeer schaalbaar

Apache Spark-logo

AutoML

“Glass box”-aanpak voor AutoML
Benut open-sourcelibs
Maakt modellen op basis van data en doelvoorspelling
Levert een notebook met gegenereerde code voor vervolg

AutoML-voorbeeld

¹ https://www.databricks.com/product/automl

MLflow

Open-source framework
End-to-end beheer van de machine-learninglevenscyclus
Volg, evalueer, beheer en deploy
Vooraf geïnstalleerd op ML Runtime!

import mlflow

with mlflow.start_run() as run:
  # machine learning training

mlflow.autolog()

mlflow.log_metric('accuracy', acc)

mlflow.lot_param('k', kNum)

MLflow-experimenten

Verzamel info over meerdere runs op één plek
Sorteer en vergelijk modelruns
Vind en promoot het beste model

MLflow-experimenten

Laten we oefenen!

Databricks-concepten