Đăng ký mô hình với MLflow

Thiết kế Pipeline Dự báo cho Môi trường Production

Rami Krispin

Senior Manager, Data Science and Engineering

Khởi chạy giao diện MLflow

mlflow ui

Kết quả terminal hiển thị máy chủ MLflow khởi động trên cổng 5000

Khởi chạy giao diện MLflow

mlflow ui

Kết quả terminal với cổng http://127.0.0.1:5000 được tô sáng

http://127.0.0.1:5000

Phân tích kết quả backtesting

Giao diện MLflow

Phân tích kết quả backtesting

Giao diện MLflow - phần Experiments được tô sáng, với tùy chọn Default và ml_forecast

Phân tích kết quả backtesting

Giao diện MLflow với tên các lần chạy được tô sáng

Phân tích kết quả backtesting

Giao diện MLflow với tùy chọn Group By được tô sáng

Phân tích kết quả backtesting

Giao diện MLflow với danh sách các lần chạy

Phân tích kết quả backtesting

Giao diện MLflow với đồ thị hiệu suất theo RMSE, MAPE và Coverage cho từng mô hình

Phân tích kết quả backtesting

Giao diện MLflow với biểu đồ hộp phân bố điểm RMSE của mô hình

Có thể cải thiện hiệu suất không?

Đánh giá mô hình

So sánh chuẩn
Phân tích phần dư
Phân tích backtesting

Hướng cải thiện

Mô hình khác
Đặc trưng mới
Tinh chỉnh tham số

Giao diện MLflow với biểu đồ hộp phân bố điểm RMSE của mô hình

Có thể cải thiện hiệu suất không?

Tối ưu mô hình

So sánh chuẩn
Phân tích phần dư
Phân tích backtesting

Hướng cải thiện

Mô hình khác
Đặc trưng mới
Tinh chỉnh tham số

Giao diện MLflow với biểu đồ hộp phân bố điểm RMSE của mô hình - LightGBM được tô sáng

Tinh chỉnh tham số

Các siêu tham số LightGBM đã dùng

Tinh chỉnh tham số

Các siêu tham số LightGBM với learning_rate và n_estimates được tô sáng

Giả thuyết

Giảm learning rate
Tăng số cây huấn luyện

 ml_models2 = {
    "lightGBM1": LGBMRegressor(n_estimators = 100, learning_rate= 0.1),
    "lightGBM2": LGBMRegressor(n_estimators = 250, learning_rate= 0.1),
    "lightGBM3": LGBMRegressor(n_estimators = 500, learning_rate= 0.1),
    "lightGBM4": LGBMRegressor(n_estimators = 100, learning_rate= 0.05),
    "lightGBM5": LGBMRegressor(n_estimators = 250, learning_rate= 0.05),
    "lightGBM6": LGBMRegressor(n_estimators = 500, learning_rate= 0.05),
}

Phân tích kết quả

Giao diện MLflow hiển thị hiệu suất mô hình với các siêu tham số khác nhau

Ràng buộc thí nghiệm

Vòng đời thí nghiệm và triển khai: train, test, evaluate, deploy, monitor, re-tune, repeat

Ayo berlatih!

Thiết kế Pipeline Dự báo cho Môi trường Production