Etiketler mevcut olduğunda

Python ile Machine Learning İzleme

Maciej Balawejder

Data Scientist

Tahmini vs gerçekleşen performans

Tahmini performans:

modelin beklenen başarımını ölçer
CBPE ve DLE gibi tahminleyiciler ile belirlenir
gerçek değer yokken tahmin edilir

Gerçekleşen performans:

ölçülen başarımı temsil eder
performans hesaplayıcı ile belirlenir
gerçek değer varken hesaplanır

Gecikmeli gerçek değer

Görsel, her hafta için üç noktalı bir zaman ekseni gösterir. Her pazartesi modelin gerçekleşen performansı değerlendirilir; pazartesiler arasında performans CBPE tahminleyicisiyle tahmin edilir.

Performans hesaplayıcı

# Hesaplayıcıyı başlat
calc = nannyml.PerformanceCalculator(
    y_pred_proba='y_pred_proba',
    y_pred='y_pred',
    y_true='arrived',
    timestamp_column_name='timestamp',
    problem_type='classification_binary',
    chunk_period='d',
    metrics=['roc_auc', 'accuracy'],
    )

# Hesaplayıcıyı uygula
calc.fit(reference)
realized_results = calc.calculate(analysis)

Sonuçları görselleştir

# Gerçekleşen performans grafiğini göster
results.plot().show()

Görsel, Nisan 2019'dan Ağustos 2019'a performans düşüşü gösteren gerçekleşen ROC AUC grafiğini gösterir.

Gerçekleşen ve tahmini performans

# Tahmin et ve sonuçları hesapla
estimated_results = estimator.estimate(analysis)
realized_results = calculator.calculate(analysis)


# Karşılaştırma grafiğini göster
realized_results.compare(estimated_results).plot().show()

Gerçekleşen ve tahmini performans

Grafik, ROC AUC metriği için gerçekleşen ve tahmini performansı karşılaştırır.

Haydi pratik yapalım!

Python ile Machine Learning İzleme