Derin öğrenmede hiperparametre ayarı

Python ile Machine Learning kullanarak TOB tahmini

Kevin Huo

Instructor

Öğrenme oranı ve yineleme sayısı

Öğrenme oranı örnekleri

  • Ağırlıklar yinelemeli güncellenir
    • Geri yayılım kullanır
  • İyi bir öğrenme oranı, kaybın hızla düşüp dengelenmesini sağlar
    • Kırmızı çizgi
  • Çok yüksek öğrenme oranı “aşma” ve çok yüksek kayba yol açar
    • Sarı çizgi
Python ile Machine Learning kullanarak TOB tahmini

Gizli katman seçimi

Gizli katman boyutunun etkisi

  • Belirli bir karmaşıklık düzeyine kadar performans artar, sonrasında düşer.
Python ile Machine Learning kullanarak TOB tahmini

Izgara arama

param_grid = {'max_iter': [10, 20], 
              'hidden_layer_sizes': [(8, ), (16, )]}

clf = GridSearchCV(
  estimator = MLPClassifier(), param_grid = param_grid, 
  n_jobs = 4)
print(clf.best_score_)
print(clf.best_estimator_)

0.65
MLPClassifier(hidden_layer_size = (16,), ...)
Python ile Machine Learning kullanarak TOB tahmini

Gerçek hayata uzantılar

  • Yığın boyutu ve epoch sayısı da olası hiperparametrelerdir
    • Yığın boyutu mini-batch içindir (eğitim küçük yığınlarla yapılır), epoch sayısı tüm eğitim verisi üzerinden geçiş sayısıdır
  • Ağırlık başlatma yöntemi değişebilir ve sonucu etkiler
    • Örnekler: uniform, normal vb.
  • sklearn yerine sıkça Keras ve TensorFlow kullanılır
    • Bunun nedeni sklearn’ün sınırlı işlevselliğidir
Python ile Machine Learning kullanarak TOB tahmini

Hadi pratik yapalım!

Python ile Machine Learning kullanarak TOB tahmini

Preparing Video For Download...