Modelregistratie met MLflow

Forecasting-pijplijnen ontwerpen voor productie

Rami Krispin

Senior Manager, Data Science and Engineering

De MLflow-UI starten

mlflow ui

Terminaluitvoer die toont dat de MLflow-server is gestart op poort 5000

Forecasting-pijplijnen ontwerpen voor productie

De MLflow-UI starten

mlflow ui

Terminaluitvoer met de poort http://127.0.0.1:5000 gemarkeerd

http://127.0.0.1:5000

Forecasting-pijplijnen ontwerpen voor productie

Analyseer de backtesting-resultaten

MLflow-UI

Forecasting-pijplijnen ontwerpen voor productie

Analyseer de backtesting-resultaten

MLflow-UI - sectie Experiments gemarkeerd, met opties Default en ml_forecast

Forecasting-pijplijnen ontwerpen voor productie

Analyseer de backtesting-resultaten

MLflow-UI met rijnamen van runs gemarkeerd

Forecasting-pijplijnen ontwerpen voor productie

Analyseer de backtesting-resultaten

MLflow-UI met Group By-optie gemarkeerd

Forecasting-pijplijnen ontwerpen voor productie

Analyseer de backtesting-resultaten

MLflow-UI met weergegeven runs

Forecasting-pijplijnen ontwerpen voor productie

Analyseer de backtesting-resultaten

MLflow-UI met grafieken van prestaties per model: RMSE, MAPE en Coverage

Forecasting-pijplijnen ontwerpen voor productie

Analyseer de backtesting-resultaten

MLflow-UI met boxplots van RMSE-scores per model

Forecasting-pijplijnen ontwerpen voor productie

Kunnen we de prestaties verbeteren?

Modelbeoordeling

  • Benchmark
  • Analyse van residuen
  • Backtesting-analyse

 

Mogelijke verbeteringen

  • Andere modellen
  • Nieuwe features
  • Hyperparameters afstemmen

MLflow-UI met boxplots van RMSE-scores per model

Forecasting-pijplijnen ontwerpen voor productie

Kunnen we de prestaties verbeteren?

Modeloptimalisatie

  • Benchmark
  • Analyse van residuen
  • Backtesting-analyse

 

Mogelijke verbeteringen

  • Andere modellen
  • Nieuwe features
  • Hyperparameters afstemmen

MLflow-UI met boxplots van RMSE-scores per model - LightGBM gemarkeerd

Forecasting-pijplijnen ontwerpen voor productie

Hyperparameters afstemmen

gebruikte LightGBM-hyperparameters

Forecasting-pijplijnen ontwerpen voor productie

Hyperparameters afstemmen

gebruikte LightGBM-hyperparameters met learning_rate en n_estimates gemarkeerd

Forecasting-pijplijnen ontwerpen voor productie

Hypothese

  • Lagere learning rate gebruiken
  • Trainen met meer trees
 ml_models2 = {
    "lightGBM1": LGBMRegressor(n_estimators = 100, learning_rate= 0.1),
    "lightGBM2": LGBMRegressor(n_estimators = 250, learning_rate= 0.1),
    "lightGBM3": LGBMRegressor(n_estimators = 500, learning_rate= 0.1),
    "lightGBM4": LGBMRegressor(n_estimators = 100, learning_rate= 0.05),
    "lightGBM5": LGBMRegressor(n_estimators = 250, learning_rate= 0.05),
    "lightGBM6": LGBMRegressor(n_estimators = 500, learning_rate= 0.05),
}
Forecasting-pijplijnen ontwerpen voor productie

Resultaten analyseren

MLflow-UI met prestaties van modellen met verschillende hyperparameters

Forecasting-pijplijnen ontwerpen voor productie

Beperkingen bij experimenteren

Levenscyclus van experimenteren en uitrollen: train, test, evalueer, deploy, monitor, retune en herhaal

Forecasting-pijplijnen ontwerpen voor productie

Laten we oefenen!

Forecasting-pijplijnen ontwerpen voor productie

Preparing Video For Download...