Độ lệch mô hình

Thiết kế Pipeline Dự báo cho Môi trường Production

Rami Krispin

Senior Manager, Data Science and Engineering

Độ lệch mô hình

Hiệu suất mô hình giảm dần theo thời gian 📉

Thường do độ lệch khái niệm

Mô hình lịch sử bị lệch chuẩn ❌

Độ lệch mô hình

Độ lệch khái niệm

Nguyên nhân khác gây lệch mô hình

Nguyên nhân khác của độ lệch mô hình

Vòng đời mô hình

Vòng đời pipeline

Phát hiện độ lệch mô hình

Theo dõi độ chính xác dự báo

Nhận diện độ lệch

import pandas as pd
import plotly.graph_objects as go

fc_log = pd.read_csv("./data/us48_forecast_log.csv")


fc_log["mape_ma_7"] = fc_log["mape"].rolling(window = 7).mean()
fc_log["mape_ma_14"] = fc_log["mape"].rolling(window = 14).mean()

Nhận diện độ lệch

print(fc_log[["mape_ma_7","mape_ma_14"]].tail(10))

     mape_ma_7  mape_ma_14
120   0.054181    0.043237
121   0.062931    0.047272
122   0.063285    0.045938
123   0.058811    0.046456
124   0.060165    0.046120
125   0.055948    0.045952
126   0.043080    0.045459
127   0.035748    0.044965
128   0.028009    0.045470
129   0.025801    0.044543

Nhận diện độ lệch

threshold = 3

Nhận diện độ lệch

threshold = 3

# Setting plotly figure
p = go.Figure()
# Add the model performance (MAPE) over time
p.add_trace(go.Scatter(x = fc_log["forecast_start"], y = 100 * fc_log["mape"],
                        mode="lines",
                        name="MAPE",
                        line=dict(color='royalblue', width=2)))
# Setting the plots layout
p.update_layout(title = "Forecast Error Rate Over Time", 
               xaxis_title="Model Error Rate Since Deployment",
               yaxis_title="MAPE (%)")

Nhận diện độ lệch

# Adding the threshold  and 7 and 14 rolling windows
p.add_shape(type="line",
              x0=fc_log["forecast_start"].min(), x1=fc_log["forecast_start"].max(),
              y0=threshold, y1=threshold,
              line=dict(color="red", width=2, dash = "dash"))

p.add_trace(go.Scatter(x = fc_log["forecast_start"], y = 100 * fc_log["mape_ma_7"],
                        mode="lines",name="7 Days MA",
                        line=dict(color="green", width=2)))

p.add_trace(go.Scatter(x = fc_log["forecast_start"], y = 100 * fc_log["mape_ma_14"],
                        mode="lines",name="14 Days MA",
                        line=dict(color="orange", width=2)))


p.show()

Nhận diện độ lệch

Ayo berlatih!

Thiết kế Pipeline Dự báo cho Môi trường Production