Gradyan artırma
R ile Ağaç Tabanlı Modellerle Machine Learning
Sandro Raabe
Data Scientist
Tekrar: artırma
- Zayıf öğrenenler kullanır (ör. tek bölünmeli karar ağaçları) ve rastgele şanstan biraz daha iyi performans gösterir
- Bu zayıf öğrenenleri toplar ve doğru tahminleri filtreler
- Her adımda kalan zor gözlemleri ele alır
- AdaBoost: ilk popüler artırma algoritması
- Gradyan Artırma: AdaBoost’un geliştirilmiş hâli
Karşılaştırma
Adaboost
- Zayıf öğrenen olarak karar kütükleri kullanır
- Gözlemlere ağırlık verir:
- Zor gözlemlere yüksek ağırlık
- Doğru tahminlere düşük ağırlık
Gradyan artırma
- Zayıf öğrenen olarak küçük karar ağaçları kullanır
- Ağırlıklar yerine kayıp fonksiyonu kullanır
- Kayıp, gradyan inişiyle eniyilenir
Artırmanın artı ve eksileri
Avantajlar
- En iyi performans gösteren ML modelleri arasındadır
- Dengesiz veriler için iyi bir seçenek
Dezavantajlar
- Aşırı uyuma yatkındır
- Eğitim yavaş olabilir (öğrenme hızı hiperparametresine bağlı)
- Çok sayıda ayarlanacak hiperparametre vardır
Gradyan artırma için hiperparametreler
Basit karar ağaçlarından bilinenler
min_n: daha fazla bölünme için düğümde gerekli en az veri noktasıtree_depth: ağacın azami derinliği / bölünme sayısı
Rastgele ormanlar ve torbalanmış ağaçlardan bilinenler:
sample_size: modele sunulan veri miktarıtrees: topluluktaki ağaç sayısı
Gradyan artırma için hiperparametreler
Rastgele ormanlardan bilinenler:
mtry: her bölünmede rastgele seçilen yordayıcı sayısı
Artırılmış ağaçlara özgü:
learn_rate: algoritmanın her yinelemede uyumlanma hızıloss_reduction: daha fazla bölünme için gereken kayıp azalımıstop_iter: durmadan önce iyileşmesiz yineleme sayısı
Hadi pratik yapalım!
R ile Ağaç Tabanlı Modellerle Machine Learning
