Model güvenilirliği

Üretim İçin Machine Learning Modelleri Geliştirme

Sinan Ozdemir

Data Scientist, Entrepreneur, and Author

ML modellerini iş etkisi metrikleriyle hizalama

İş etkisi metrikleri, ML'in işe etkisini ölçer
- ör. gelir, maliyet tasarrufu, müşteri memnuniyeti puanı (CSAT)
Model metrikleriyle uyumlu olmalı
- ör. churn tahmincisi --> gelir
- ör. üretim bakım tahmincisi --> maliyet tasarrufu
- ör. sohbet botu niyet tespiti doğruluğu --> CSAT

grafik yukarı gidiyor

ML hatlarında test rutinleri

Birim testleri tekil bileşenleri sınar
- ör. bir PCA örneğinin beklenen özellik sayısını döndürdüğünü test et
Entegrasyon testleri tüm hattı ele alır
- ör. girdi verisi doğru ön işleniyor mu, model doğru tahmin yapıyor mu, çıktı doğru son işleniyor mu test et
Smoke testleri sistemin çalıştığına dair hızlı güven verir
- ör. modelin küçük bir örnek görsel kümesini doğru sınıflandırdığını test et
Erken ve sık test et
- ör. yeni veri gelir gelmez modelde test et

Örnek birim testi

def test_pipeline():
    # Generate mock data for testing
    X_train = pd.DataFrame({'age': [25, 30, 35, 40], 'income': [50000, 60000, 70000, 80000])
    y_train = pd.Series([0, 0, 1, 1])

    pipeline = Pipeline([('preprocessing', DataPreprocessor()),  # Set up pipeline
                         ('model', LogisticRegression())])
    pipeline.fit(X_train, y_train)  # Fit pipeline on training data

    # Generate mock data for testing
    X_test = pd.DataFrame({'age': [30, 35, 40, 45], 'income': [55000, 65000, 75000, 85000])
    y_test = pd.Series([0, 0, 1, 1])
    y_pred = pipeline.predict(X_test)  
    accuracy = accuracy_score(y_test, y_pred)  # Evaluate pipeline on test data

    assert accuracy > 0.8, "Error: pipeline accuracy is too low."

Model bayatlamasını izleme

Model bayatlaması - modelin performansı zamanla düşer
- veri veya ortam değişimi
Sürekli İzleme!

şaşırmış robot

Model bayatlamasını belirleme ve giderme

Belirleme

Model performansını izle
Veri + ortam değişimlerini izle

Giderme

Modeli yeni verilerle yeniden eğit
- ör. Modele eklenmesi gereken yeni bir özellik var
Ortam değişikliklerini karşılamak için veri hattını güncelle
- ör. Analitik platformlarındaki değişiklikler hattını şaşırtıyor

Hadi pratik yapalım!

Üretim İçin Machine Learning Modelleri Geliştirme