ट्री-आधारित तरीकों के पीछे की समझ

R में Supervised Learning: Regression

Nina Zumel and John Mount

Win-Vector, LLC

उदाहरण: Gestation Time और Litter Size से पशु बुद्धिमत्ता की भविष्यवाणी

R में Supervised Learning: Regression

Decision Trees

ऐसे नियम:

  • if a AND b AND c THEN y

नॉन-लिनियर कॉन्सेप्ट्स

  • इंटरवल्स
  • नॉन-मोनोटोनिक रिलेशनशिप्स

नॉन-एडिटिव इंटरैक्शंस

  • AND: गुणा जैसा
R में Supervised Learning: Regression

Decision Trees

  • IF Litter < 1.15 AND Gestation $\ge$ 268 $\rightarrow$ intelligence = 0.315
  • IF Litter IN [1.15, 4.3) $\rightarrow$ intelligence = 0.131
R में Supervised Learning: Regression

Decision Trees

Pro: ट्रीज़ का एक्सप्रेसिव कॉन्सेप्ट स्पेस होता है

Model RMSE
linear 0.1200419
tree 0.1072732
R में Supervised Learning: Regression

Decision Trees

Con: कोर्स-ग्रेन्ड प्रेडिक्शंस

R में Supervised Learning: Regression

ट्रीज़ के लिए लीनियर रिलेशनशिप्स व्यक्त करना मुश्किल है

ट्रीज़ एक्सिस-अलाइनड रीजन प्रेडिक्ट करते हैं

हर रंग अलग प्रेडिक्टेड वैल्यू दिखाता है

R में Supervised Learning: Regression

ट्रीज़ के लिए लीनियर रिलेशनशिप्स व्यक्त करना मुश्किल है

स्टेप्स से लाइन्स व्यक्त करना कठिन है

R में Supervised Learning: Regression

ट्रीज़ से जुड़ी अन्य समस्याएँ

  • बहुत ज़्यादा स्प्लिट्स वाला ट्री (डीप ट्री):
    • बहुत जटिल - ओवरफिट का जोखिम
  • बहुत कम स्प्लिट्स वाला ट्री (शैलो ट्री):
    • प्रेडिक्शंस बहुत कोर्स-ग्रेन्ड
R में Supervised Learning: Regression

Ensembles of Trees

एन्सेम्बल, सिंगल ट्री से ज़्यादा फाइन-ग्रेन्ड प्रेडिक्शंस देते हैं

R में Supervised Learning: Regression

Ensembles of Trees

एन्सेम्बल मॉडल, सिंगल ट्री से पशु बुद्धिमत्ता डेटा पर बेहतर फिट होता है

Model RMSE
linear 0.1200419
tree 0.1072732
random forest 0.0901681
R में Supervised Learning: Regression

अभ्यास करते हैं!

R में Supervised Learning: Regression

Preparing Video For Download...