MLflow ile Model Kaydı

Üretim için Tahmin (Forecasting) Hatları Tasarlama

Rami Krispin

Senior Manager, Data Science and Engineering

MLflow UI’ı başlatma

mlflow ui

MLflow sunucusunun 5000 portundan başlatıldığını gösteren terminal çıktısı

MLflow UI’ı başlatma

mlflow ui

http://127.0.0.1:5000

Backtesting sonuçlarını analiz edin

MLflow UI

Backtesting sonuçlarını analiz edin

MLflow UI - Deneyler bölümü vurgulanmış: Default ve ml_forecast seçenekleri

Backtesting sonuçlarını analiz edin

Çalışma adları vurgulanmış MLflow UI

Backtesting sonuçlarını analiz edin

Gruplandırma seçeneği vurgulanmış MLflow UI

Backtesting sonuçlarını analiz edin

Çalışmalar listelenmiş MLflow UI

Backtesting sonuçlarını analiz edin

Her modelin RMSE, MAPE ve Kapsama ile performansını gösteren grafiklerle MLflow UI

Backtesting sonuçlarını analiz edin

Model RMSE dağılım kutu grafikleriyle MLflow UI

Performansı iyileştirebilir miyiz?

Model değerlendirme

Kıyaslama
Artık analiz
Backtesting analizi

Olası iyileştirmeler

Farklı modeller
Yeni özellikler
Parametre ayarı

Model RMSE dağılım kutu grafikleriyle MLflow UI

Performansı iyileştirebilir miyiz?

Model optimizasyonu

Kıyaslama
Artık analiz
Backtesting analizi

Olası iyileştirmeler

Farklı modeller
Yeni özellikler
Parametre ayarı

LightGBM vurgulanmış model RMSE dağılım kutu grafikleriyle MLflow UI

Parametre ayarı

Kullanılan LightGBM hiperparametreleri

Parametre ayarı

learning_rate ve n_estimates vurgulanmış kullanılan LightGBM hiperparametreleri

Hipotez

Daha düşük öğrenme oranı kullanma
Daha fazla ağaçla eğitim

 ml_models2 = {
    "lightGBM1": LGBMRegressor(n_estimators = 100, learning_rate= 0.1),
    "lightGBM2": LGBMRegressor(n_estimators = 250, learning_rate= 0.1),
    "lightGBM3": LGBMRegressor(n_estimators = 500, learning_rate= 0.1),
    "lightGBM4": LGBMRegressor(n_estimators = 100, learning_rate= 0.05),
    "lightGBM5": LGBMRegressor(n_estimators = 250, learning_rate= 0.05),
    "lightGBM6": LGBMRegressor(n_estimators = 500, learning_rate= 0.05),
}

Sonuçları analiz etme

Farklı hiperparametrelerle modellerin performansını gösteren MLflow UI

Deney kısıtları

Eğit, test et, değerlendir, dağıt, izle, yeniden ayarla ve tekrarla adımlarını kapsayan Deney ve Dağıtım yaşam döngüsü

Vamos praticar!

Üretim için Tahmin (Forecasting) Hatları Tasarlama