Entraînement de modèles avec MLFlow dans Databricks

Concepts de Databricks

Kevin Barlow

Data Practitioner

Cycle de vie du Machine Learning

¹ https://www.datacamp.com/blog/machine-learning-lifecycle-explained

Entraînement et développement de modèles

Cycle de vie du Machine Learning - Modélisation

Un seul nœud vs multinœud

Machine Learning sur un seul nœud

Idéal pour expérimenter et démarrer
Configuration initiale plus simple
Difficile à mettre en production

logo scikit-learn

Machine Learning multinœud

Idéal pour la production
Entretien plus simple à long terme
Très évolutif

logo Apache Spark

AutoML

Approche « boîte de verre » pour le Machine Learning automatisé
Tire parti des bibliothèques libres
Crée des modèles selon les données et la cible de prédiction
Fournit un carnet avec du code généré pour aller plus loin

Exemple AutoML

¹ https://www.databricks.com/product/automl

MLFlow

Cadre libre
Gestion du cycle de vie de bout en bout du Machine Learning
Suivre, évaluer, gérer et déployer
Préinstallé sur ML Runtime !

import mlflow

with mlflow.start_run() as run:
  # machine learning training

mlflow.autolog()

mlflow.log_metric('accuracy', acc)

mlflow.lot_param('k', kNum)

Expériences MLFlow

Regrouper l'information de plusieurs exécutions en un seul endroit
Trier et comparer les exécutions de modèles
Repérer et promouvoir le meilleur modèle

Expériences MLFlow

Passons à la pratique !

Concepts de Databricks