Genelleme Hatası

Python ile Ağaç Tabanlı Modellerle Machine Learning

Elie Kawerk

Data Scientist

Denetimli Öğrenme - Kaputun Altı

  • Denetimli Öğrenme: $y = f(x)$, $f$ bilinmiyor.

gürültülü-vk

Python ile Ağaç Tabanlı Modellerle Machine Learning

Denetimli Öğrenmenin Hedefleri

  • $f$'i en iyi yaklaştıran bir model $\hat{f}$ bulun: $\hat{f} \approx f$

  • $\hat{f}$ Lojistik Regresyon, Karar Ağacı, Sinir Ağı olabilir...

  • Gürültüyü olabildiğince ayıklayın.

  • Nihai hedef: $\hat{f}$ görülmemiş veri kümelerinde düşük kestirim hatası yapmalı.

Python ile Ağaç Tabanlı Modellerle Machine Learning

$f$'i Yaklaştırmadaki Zorluklar

  • Aşırı uyum (Overfitting):

    $\hat{f}(x)$ eğitim kümesindeki gürültüyü uydurur.

  • Yetersiz uyum (Underfitting):

    $\hat{f}$, $f$'i yaklaştıracak kadar esnek değildir.

Python ile Ağaç Tabanlı Modellerle Machine Learning

Aşırı Uyum

aşırı-uyum

Python ile Ağaç Tabanlı Modellerle Machine Learning

Yetersiz Uyum

yetersiz-uyum

Python ile Ağaç Tabanlı Modellerle Machine Learning

Genelleme Hatası

  • $\hat{f}$'in Genelleme Hatası: $\hat{f}$ görülmemiş veride iyi geneller mi?

  • Şu şekilde ayrıştırılır:

    $\hat{f}$'in Genelleme Hatası = sapma^2 + varyans + indirgenemez hata

Python ile Ağaç Tabanlı Modellerle Machine Learning

Sapma (Bias)

  • Sapma (Bias): ortalamada $\hat{f} \neq f$ farkını gösteren hata terimi.

yüksek-sapma

Python ile Ağaç Tabanlı Modellerle Machine Learning

Varyans

  • Varyans: $\hat{f}$'in farklı eğitim kümelerinde ne kadar tutarsız olduğunu gösterir.

yüksek-varyans

Python ile Ağaç Tabanlı Modellerle Machine Learning

Model Karmaşıklığı

  • Model Karmaşıklığı: $\hat{f}$'in esnekliğini belirler.

  • Örnek: Maksimum ağaç derinliği, yaprak başına minimum örnek sayısı, ...

Python ile Ağaç Tabanlı Modellerle Machine Learning

Sapma-Varyans Dengesi

genelleme-ayrıştırma

Python ile Ağaç Tabanlı Modellerle Machine Learning

Sapma-Varyans Dengesi: Görsel Açıklama

sapma-varyans-görsel

Python ile Ağaç Tabanlı Modellerle Machine Learning

Hadi pratik yapalım!

Python ile Ağaç Tabanlı Modellerle Machine Learning

Preparing Video For Download...