Performans kestirimi

Python ile Machine Learning İzleme

Hakim Elakhrass

Co-founder and CEO of NannyML

Algoritmalar

CBPE - güvene dayalı performans kestirimi
DLE - doğrudan kayıp kestirimi

Doğrudan kayıp kestirimi

Regresyon görevlerinde kullanılır
İzlenen modelin kayıp fonksiyonunu kestirir
Ek bir model olarak LGBM kullanılır
NannyML, MAE, MSE veya RMSE gibi çeşitli regresyon metriklerini destekler

Görsel DLE algoritmasının nasıl çalıştığını gösterir. Önce üretim verisi algoritmaya gelir ve tahminler ile üretim verisine göre analiz seti oluşturulur. Analiz seti, performansı kestirmek için ek modele verilir.

DLE - kod uygulaması

# DLE algoritmasını başlatın
estimator = nannyml.DLE(
    y_true='target',
    y_pred='y_pred',
    metrics=['rmse'],
    timestamp_column_name='timestamp',
    chunk_period='d'
    feature_column_names=features,
    tune_hyperparameters=False
)

# Algoritmayı eğitin
estimator.fit(reference)
results = estimator.estimate(analysis)

Güvene dayalı performans kestirimi

İkili ve çok sınıflı sınıflandırmada kullanılır
Karmaşıklık matrisini kestirmek için güven skorlarını kullanır
Her türlü sınıflandırma performans metriğini kestirir

Görsel CBPE algoritmasının nasıl çalıştığını gösterir. Önce analiz seti CBPE algoritmasına verilir ve karmaşıklık matrisi kestirilir. Bu matrise dayanarak diğer sınıflandırma metrikleri hesaplanır.

CBPE - kod uygulaması

# CBPE algoritmasını başlatın
estimator = nannyml.CBPE(
    y_pred_proba='y_pred_proba',
    y_pred='y_pred',
    y_true='targets',
    timestamp_column_name='timestamp',
    metrics=['roc_auc'],
    chunk_period='d',
    problem_type='classification_binary',
)

# Algoritmayı eğitin
estimator.fit(reference)
results = estimator.estimate(analysis)

Sonuçlar

results.plot().show()

Ortaya çıkan grafik, zaman içinde kestirilen RMSE metriklerini gösterir.

Hadi pratik yapalım!

Python ile Machine Learning İzleme