Generalization Error

Python में Tree-Based Models के साथ Machine Learning

Elie Kawerk

Data Scientist

Supervised Learning - अंदर क्या होता है

  • Supervised Learning: $y =f(x)$, $f$ अज्ञात है.

शोर वाला डेटासेट

Python में Tree-Based Models के साथ Machine Learning

Supervised Learning के लक्ष्य

  • ऐसा मॉडल $\hat{f}$ खोजें जो $f$ के सबसे करीब हो: $\hat{f} \approx f$

  • $\hat{f}$ Logistic Regression, Decision Tree, Neural Network ... हो सकता है।

  • शोर को यथासंभव हटा दें।

  • अंतिम लक्ष्य: अनदेखे डेटासेट पर $\hat{f}$ की predictive error कम हो।

Python में Tree-Based Models के साथ Machine Learning

$f$ को approx करने की दिक्कतें

  • Overfitting:

    $\hat{f}(x)$ training सेट के शोर को भी फिट करता है।

  • Underfitting:

    $\hat{f}$, $f$ को approx करने के लिए पर्याप्त flexible नहीं है।

Python में Tree-Based Models के साथ Machine Learning

Overfitting

ओवरफिटिंग

Python में Tree-Based Models के साथ Machine Learning

Underfitting

अंडरफिटिंग

Python में Tree-Based Models के साथ Machine Learning

Generalization Error

  • $\hat{f}$ की Generalization Error: क्या $\hat{f}$ अनदेखे data पर अच्छा generalize करता है?

  • इसे यूँ लिखा जा सकता है:

    $\hat{f}$ की Generalization Error = bias^2 + variance + \text{irreducible error}

Python में Tree-Based Models के साथ Machine Learning

Bias

  • Bias: औसतन बताता है कि $\hat{f}$, $f$ से कितना अलग है।

उच्च bias

Python में Tree-Based Models के साथ Machine Learning

Variance

  • Variance: बताता है कि अलग-अलग training सेट पर $\hat{f}$ कितना असंगत है।

उच्च variance

Python में Tree-Based Models के साथ Machine Learning

Model Complexity

  • Model Complexity: $\hat{f}$ की flexibility तय करती है।

  • उदाहरण: Maximum tree depth, Minimum samples per leaf, ...

Python में Tree-Based Models के साथ Machine Learning

Bias-Variance Tradeoff

generalization-विघटन

Python में Tree-Based Models के साथ Machine Learning

Bias-Variance Tradeoff: एक विज़ुअल व्याख्या

bias-variance-दृश्य

Python में Tree-Based Models के साथ Machine Learning

अभ्यास करते हैं!

Python में Tree-Based Models के साथ Machine Learning

Preparing Video For Download...