Enregistrement de modèles avec MLflow

Concevoir des pipelines de prévision pour la production

Rami Krispin

Senior Manager, Data Science and Engineering

Lancer l'interface MLflow

mlflow ui

Sortie du terminal indiquant que le serveur MLflow a démarré sur le port 5000

Lancer l'interface MLflow

mlflow ui

Sortie du terminal avec le port http://127.0.0.1:5000 mis en évidence

http://127.0.0.1:5000

Analyser les résultats de backtesting

Interface MLflow

Analyser les résultats de backtesting

Interface MLflow – section Experiments mise en évidence, avec les options Default et ml_forecast

Analyser les résultats de backtesting

Interface MLflow avec les noms des runs mis en évidence

Analyser les résultats de backtesting

Interface MLflow avec l'option Group By mise en évidence

Analyser les résultats de backtesting

Interface MLflow avec la liste des runs

Analyser les résultats de backtesting

Interface MLflow avec des graphiques affichant la performance de chaque modèle selon RMSE, MAPE et Coverage

Analyser les résultats de backtesting

Interface MLflow affichant des boîtes à moustaches des distributions de scores RMSE des modèles

Peut-on améliorer la performance ?

Évaluation du modèle

Référence
Analyse des résidus
Analyse de backtesting

Pistes d'amélioration

Modèles alternatifs
Nouvelles variables
Ajustement des hyperparamètres

Interface MLflow affichant des boîtes à moustaches des distributions de scores RMSE des modèles

Peut-on améliorer la performance ?

Optimisation du modèle

Référence
Analyse des résidus
Analyse de backtesting

Pistes d'amélioration

Modèles alternatifs
Nouvelles variables
Ajustement des hyperparamètres

Interface MLflow affichant des boîtes à moustaches des distributions de scores RMSE des modèles – LightGBM mis en évidence

Ajuster les hyperparamètres

Hyperparamètres lightGBM utilisés

Ajuster les hyperparamètres

Hyperparamètres lightGBM utilisés avec learning_rate et n_estimates mis en évidence

Hypothèse

Utiliser un taux d'apprentissage plus faible
Entraîner avec davantage d'arbres

 ml_models2 = {
    "lightGBM1": LGBMRegressor(n_estimators = 100, learning_rate= 0.1),
    "lightGBM2": LGBMRegressor(n_estimators = 250, learning_rate= 0.1),
    "lightGBM3": LGBMRegressor(n_estimators = 500, learning_rate= 0.1),
    "lightGBM4": LGBMRegressor(n_estimators = 100, learning_rate= 0.05),
    "lightGBM5": LGBMRegressor(n_estimators = 250, learning_rate= 0.05),
    "lightGBM6": LGBMRegressor(n_estimators = 500, learning_rate= 0.05),
}

Analyser les résultats

Interface MLflow affichant la performance des modèles avec différents hyperparamètres

Contraintes d'expérimentation

Cycle d'expérimentation et de déploiement couvrant train, test, evaluate, deploy, monitor, re-tune et repeat

Passons à la pratique !

Concevoir des pipelines de prévision pour la production