Pendaftaran Model dengan MLflow

Merancang Pipeline Peramalan untuk Produksi

Rami Krispin

Senior Manager, Data Science and Engineering

Menjalankan UI MLflow

mlflow ui

Keluaran terminal menampilkan server MLflow dimulai pada port 5000

Menjalankan UI MLflow

mlflow ui

Keluaran terminal dengan port http://127.0.0.1:5000 disorot

http://127.0.0.1:5000

Analisis hasil backtesting

UI MLflow

Analisis hasil backtesting

UI MLflow - bagian Experiments disorot, dengan opsi Default dan ml_forecast

Analisis hasil backtesting

UI MLflow dengan nama run disorot

Analisis hasil backtesting

UI MLflow dengan opsi Group By disorot

Analisis hasil backtesting

UI MLflow dengan daftar run

Analisis hasil backtesting

UI MLflow dengan grafik kinerja tiap model menurut RMSE, MAPE, dan Coverage

Analisis hasil backtesting

UI MLflow menampilkan box plot distribusi skor RMSE model

Dapatkah kinerja ditingkatkan?

Evaluasi model

Benchmark
Analisis residual
Analisis backtesting

Potensi perbaikan

Model berbeda
Fitur baru
Penyelarasan parameter

UI MLflow menampilkan box plot distribusi skor RMSE model

Dapatkah kinerja ditingkatkan?

Optimasi model

Benchmark
Analisis residual
Analisis backtesting

Potensi perbaikan

Model berbeda
Fitur baru
Penyelarasan parameter

UI MLflow menampilkan box plot distribusi skor RMSE model - LightGBM disorot

Penyelarasan parameter

Hyperparameter LightGBM yang digunakan

Penyelarasan parameter

Hyperparameter LightGBM yang digunakan dengan learning_rate dan n_estimates disorot

Hipotesis

Gunakan learning rate lebih rendah
Latih dengan lebih banyak pohon

 ml_models2 = {
    "lightGBM1": LGBMRegressor(n_estimators = 100, learning_rate= 0.1),
    "lightGBM2": LGBMRegressor(n_estimators = 250, learning_rate= 0.1),
    "lightGBM3": LGBMRegressor(n_estimators = 500, learning_rate= 0.1),
    "lightGBM4": LGBMRegressor(n_estimators = 100, learning_rate= 0.05),
    "lightGBM5": LGBMRegressor(n_estimators = 250, learning_rate= 0.05),
    "lightGBM6": LGBMRegressor(n_estimators = 500, learning_rate= 0.05),
}

Menganalisis hasil

UI MLflow menampilkan kinerja model dengan berbagai hyperparameter

Kendala eksperimen

Siklus eksperimen dan deployment mencakup train, test, evaluate, deploy, monitor, re-tune, dan repeat

Ayo berlatih!

Merancang Pipeline Peramalan untuk Produksi