แนวคิดเบื้องหลังวิธีการแบบ tree-based

Supervised Learning ใน R: การถดถอย

Nina Zumel and John Mount

Win-Vector, LLC

ตัวอย่าง: ทำนายความฉลาดของสัตว์จากระยะตั้งท้องและขนาดครอก

Supervised Learning ใน R: การถดถอย

Decision Trees

กฎในรูปแบบ:

  • if a AND b AND c THEN y

แนวคิดแบบไม่เชิงเส้น

  • ช่วงค่า
  • ความสัมพันธ์แบบไม่ monotonic

ปฏิสัมพันธ์แบบ non-additive

  • AND: คล้ายกับการคูณ
Supervised Learning ใน R: การถดถอย

Decision Trees

  • IF Litter < 1.15 AND Gestation $\ge$ 268 $\rightarrow$ intelligence = 0.315
  • IF Litter IN [1.15, 4.3) $\rightarrow$ intelligence = 0.131
Supervised Learning ใน R: การถดถอย

Decision Trees

ข้อดี: Trees มี พื้นที่แนวคิดที่ครอบคลุม

Model RMSE
linear 0.1200419
tree 0.1072732
Supervised Learning ใน R: การถดถอย

Decision Trees

ข้อเสีย: การทำนายที่หยาบเกินไป

Supervised Learning ใน R: การถดถอย

Trees แสดงความสัมพันธ์เชิงเส้นได้ยาก

Trees ทำนายตามบริเวณที่ขนานกับแกน

แต่ละสีแทนค่าที่ทำนายต่างกัน

Supervised Learning ใน R: การถดถอย

Trees แสดงความสัมพันธ์เชิงเส้นได้ยาก

การแสดงเส้นตรงด้วย steps ทำได้ยาก

Supervised Learning ใน R: การถดถอย

ปัญหาอื่น ๆ ของ Trees

  • Tree ที่แตกกิ่งมากเกินไป (deep tree):
    • ซับซ้อนเกิน — เสี่ยง overfit
  • Tree ที่แตกกิ่งน้อยเกินไป (shallow tree):
    • การทำนายหยาบเกินไป
Supervised Learning ใน R: การถดถอย

Ensembles of Trees

Ensembles ให้การทำนายละเอียดกว่า Trees เดี่ยว

Supervised Learning ใน R: การถดถอย

Ensembles of Trees

Ensemble model ทำนายข้อมูลความฉลาดของสัตว์ได้ดีกว่า Tree เดี่ยว

Model RMSE
linear 0.1200419
tree 0.1072732
random forest 0.0901681
Supervised Learning ใน R: การถดถอย

มาฝึกกันเถอะ!

Supervised Learning ใน R: การถดถอย

Preparing Video For Download...