Aşırı öğrenmeden iterasyon

Python'da Machine Learning İş Akışları Tasarlama

Dr. Chris Anagnostopoulos

Honorary Associate Professor

Bir makine öğrenimi hattının üretime alındıktan sonra daha da ayarlanabileceğini gösteren şema.

Aynı şemada, modeli daha da ayarlamak için üretimden daha fazla veri çıkarılabileceği gösterilir.

Aynı şemada, alan uzmanlarının yeni kayıp fonksiyonları gibi içgörülerle modeli değiştirebileceği gösterilir.

Aynı şemada, üretime alınan model şampiyon; geliştirmedeki model meydan okuyucu olarak etiketlenmiştir.

Çapraz doğrulama sonuçları

grid_search = GridSearchCV(pipe, params, cv=3, return_train_score=True)
gs = grid_search.fit(X_train, y_train)
results = pd.DataFrame(gs.cv_results_)

results[['mean_train_score', 'std_train_score', 
   'mean_test_score', 'std_test_score']]

   mean_train_score  std_train_score  mean_test_score  std_test_score
0             0.829            0.006            0.735           0.009
1             0.829            0.006            0.725           0.009
2             0.961            0.008            0.716           0.019
3             0.981            0.005            0.749           0.024
...

Çapraz doğrulama sonuçları

   mean_train_score  std_train_score  mean_test_score  std_test_score
0             0.829            0.006            0.735           0.009
1             0.829            0.006            0.725           0.009
2             0.961            0.008            0.716           0.019
3             0.981            0.005            0.749           0.024
4             0.986            0.003            0.728           0.009
5             0.995            0.002            0.751           0.008

Gözlemler:

Eğitim skoru test skorundan çok daha yüksek.
Test skorunun standart sapması büyük.

Veri kümesi eğitim ve teste ayrılmış; eğitim verisi ayrıca çapraz doğrulama ile parçalara bölünmüş.

Veri kümesi eğitim ve doğrulamaya ayrılmış; eğitim verisi ayrıca çapraz doğrulama ile parçalara bölünmüş.

Aşırı öğrenmeyi saptama

ÇD eğitim skoru >> ÇD test skoru
- modeli eğitme aşamasında aşırı öğrenme
- sınıflandırıcının karmaşıklığını azaltın
- daha fazla eğitim verisi edinin
- ÇD kat sayısını artırın
ÇD test skoru >> Doğrulama skoru
- model ayarlama aşamasında aşırı öğrenme
- ÇD kat sayısını azaltın
- parametre ızgarasının boyutunu küçültün

Veri kümesi eğitim ve doğrulamaya ayrılmış; eğitim verisi ayrıca çapraz doğrulama ile parçalara bölünmüş.

Veri kümesi eğitim, doğrulama ve üretim verisine ayrılmış; eğitim verisi ayrıca çapraz doğrulama ile parçalara bölünmüş.

Özgeçmişinizde “CV uzmanı”!

Python'da Machine Learning İş Akışları Tasarlama