Boru hattı mimarisi

Üretim için Tahmin (Forecasting) Hatları Tasarlama

Rami Krispin

Senior Manager, Data Science and Engineering

Model dağıtımı

Deney süreci

Model dağıtımı

ETL ve ML Boru Hatları

Boru hattı gereksinimleri

Veri alımı

Yenileme sıklığı: günlük

Tahmin yenileme

Yenileme sıklığı: günlük
Tahmin ufku: 72 saat

Dayanıklı

Birim testleri ve doğrulama adımları
Günlükler
Bakımı kolay

Boru hattı tasarımı

API istekleri, veri dönüşümü, tahmin yenileme ve günlüklemeyi içeren boru hattı gereksinimleri

Boru hattı tasarımı

Veri alım süreci

Boru hattı tasarımı

Tahmin otomasyonu

Boru hattı tasarımı

Veri depolama

Boru hattı tasarımı

Günlükleme

Boru hattı tasarımı

Boru hattında kullanılan araçlar - Airflow, mlflow, nixtla

Model kayıt defteri

Yaklaşımlar

Tüm modelleri kaydet
Yalnızca en iyi modeli kaydet

Gereklilikler

MLflow flavor
Özelleştirilmiş işlev
Eğitilmiş nesne
Tahmin yöntemi

Model kayıt defteri

from lightgbm import LGBMRegressor
from mlforecast import MLForecast
import mlflow
import mlforecast.flavor


experiment_name = "ml_forecast"
mlflow_path = "file:///mlruns"


meta = mlflow.get_experiment_by_name(experiment_name)

Model kayıt defteri

model = LGBMRegressor(n_estimators = 500, learning_rate= 0.05)


params = {
  "freq": "h",
  "lags": list(range(1, 24)),
  "date_features": ["month", "day", "dayofweek", "week", "hour"] 
}

Model kayıt defteri

mlf = MLForecast(
    models= model,  
    freq= params["freq"], 
    lags=params["lags"],
    date_features=params["date_features"]
)

mlf.fit(ts)

Model kayıt defteri

run_time = datetime.datetime.now().strftime("%Y-%m-%d %H-%M-%S")
run_name = f"lightGBM6_{run_time}"


print(run_name)

'lightGBM6_2025-05-19 05-12-16'

with mlflow.start_run(experiment_id=meta.experiment_id, 
                      run_name=run_name) as run:
  mlforecast.flavor.log_model(model=mlf, artifact_path="prod_model")

Model kayıt defteri

Çalıştırma adı vurgulanmış model kayıt defteri

Model kayıt defteri

Model adı vurgulanmış model kayıt defteri

Model kayıt defteri

Model kayıt defteri metaverileri

Haydi pratik yapalım!

Üretim için Tahmin (Forecasting) Hatları Tasarlama