Antrenarea modelelor cu MLFlow în Databricks

Concepte Databricks

Kevin Barlow

Data Practitioner

Ciclul de viață al învățării automate

¹ https://www.datacamp.com/blog/machine-learning-lifecycle-explained

Antrenarea și dezvoltarea modelelor

Ciclul de viață ML - Modelare

Nod unic vs. Multi-nod

Învățare automată pe un singur nod

Ideal pentru experimentare și început
Configurare inițială mai simplă
Dificil de implementat în producție

Logo scikit-learn

Învățare automată multi-nod

Ideal pentru sarcini de lucru în producție
Întreținere mai ușoară pe termen lung
Înalt scalabil

Logo Apache Spark

AutoML

Abordare „cutie de sticlă" pentru ML automatizat
Utilizează biblioteci open-source
Creează modele pe baza datelor și a predicțiilor vizate
Furnizează un notebook cu cod generat pentru utilizare ulterioară

Exemplu AutoML

¹ https://www.databricks.com/product/automl

MLFlow

Framework open-source
Gestionarea ciclului de viață ML de la capăt la capăt
Urmărire, evaluare, gestionare și implementare
Preinstalat pe ML Runtime!

import mlflow

with mlflow.start_run() as run:
  # machine learning training

mlflow.autolog()

mlflow.log_metric('accuracy', acc)

mlflow.lot_param('k', kNum)

Experimente MLFlow

Centralizarea informațiilor din multiple rulări
Sortarea și compararea rulărilor de modele
Identificarea și promovarea celui mai bun model

Experimente MLFlow

Să exersăm!

Concepte Databricks