Registrazione dei modelli con MLflow

Progettare pipeline di forecasting per la produzione

Rami Krispin

Senior Manager, Data Science and Engineering

Avvio della UI di MLflow

mlflow ui

Output del terminale che mostra l'avvio del server MLflow sulla porta 5000

Avvio della UI di MLflow

mlflow ui

Output del terminale con la porta http://127.0.0.1:5000 evidenziata

http://127.0.0.1:5000

Analizza i risultati del backtesting

Interfaccia MLflow

Analizza i risultati del backtesting

Interfaccia MLflow - sezione Experiments evidenziata, con opzioni Default e ml_forecast

Analizza i risultati del backtesting

Interfaccia MLflow con i nomi delle run evidenziati

Analizza i risultati del backtesting

Interfaccia MLflow con l'opzione Group By evidenziata

Analizza i risultati del backtesting

Interfaccia MLflow con le run elencate

Analizza i risultati del backtesting

Interfaccia MLflow con grafici delle prestazioni per RMSE, MAPE e Coverage

Analizza i risultati del backtesting

Interfaccia MLflow con box plot delle distribuzioni di RMSE dei modelli

Possiamo migliorare le prestazioni?

Valutazione del modello

Benchmark
Analisi dei residui
Analisi del backtesting

Possibili miglioramenti

Modelli diversi
Nuove feature
Tuning dei parametri

Interfaccia MLflow con box plot delle distribuzioni di RMSE dei modelli

Possiamo migliorare le prestazioni?

Ottimizzazione del modello

Benchmark
Analisi dei residui
Analisi del backtesting

Possibili miglioramenti

Modelli diversi
Nuove feature
Tuning dei parametri

Interfaccia MLflow con box plot delle distribuzioni di RMSE - LightGBM evidenziato

Tuning dei parametri

Iperparametri usati per LightGBM

Tuning dei parametri

Iperparametri usati per LightGBM con learning_rate e n_estimates evidenziati

Ipotesi

Tasso di apprendimento più basso
Addestra con più alberi

 ml_models2 = {
    "lightGBM1": LGBMRegressor(n_estimators = 100, learning_rate= 0.1),
    "lightGBM2": LGBMRegressor(n_estimators = 250, learning_rate= 0.1),
    "lightGBM3": LGBMRegressor(n_estimators = 500, learning_rate= 0.1),
    "lightGBM4": LGBMRegressor(n_estimators = 100, learning_rate= 0.05),
    "lightGBM5": LGBMRegressor(n_estimators = 250, learning_rate= 0.05),
    "lightGBM6": LGBMRegressor(n_estimators = 500, learning_rate= 0.05),
}

Analisi dei risultati

Interfaccia MLflow con le prestazioni dei modelli a iperparametri diversi

Vincoli di sperimentazione

Ciclo di sperimentazione e deploy: train, test, evaluate, deploy, monitor, re-tune, repeat

Passons à la pratique !

Progettare pipeline di forecasting per la produzione