Bootstrap aggregating

Ensemble Methods ใน Python

Román de las Heras

Data Scientist, Appodeal

Heterogeneous vs Homogeneous Ensembles

Heterogeneous:

  • อัลกอริทึมที่แตกต่างกัน (ปรับจูนแล้ว)
  • จำนวน estimator น้อย
  • Voting, Averaging และ Stacking

Homogeneous:

  • อัลกอริทึมเดียวกัน (โมเดล "weak")
  • จำนวน estimator มาก
  • Bagging และ Boosting
Ensemble Methods ใน Python

ทฤษฎีบทคณะลูกขุนของ Condorcet

เงื่อนไข:

  • โมเดลต้องเป็นอิสระจากกัน
  • แต่ละโมเดลต้องทำได้ดีกว่าการเดาสุ่ม
  • โมเดลแต่ละตัวมีประสิทธิภาพใกล้เคียงกัน

บทสรุป: การเพิ่มจำนวนโมเดลช่วยยกระดับประสิทธิภาพของ ensemble (Voting หรือ Averaging) และจะเข้าใกล้ 1 (100%)

Condorcet Marquis de Condorcet นักปรัชญาและนักคณิตศาสตร์ชาวฝรั่งเศส

Ensemble Methods ใน Python

Bootstrapping

Bootstrapping ต้องการ:

  • กลุ่มย่อยที่สุ่มขึ้นมา
  • สุ่มแบบมีการคืนค่า

Bootstrapping รับประกัน:

  • ความหลากหลาย: ชุดข้อมูลที่แตกต่างกัน
  • ความเป็นอิสระ: สุ่มแยกจากกัน

Bagging.png

Ensemble Methods ใน Python

ข้อดีและข้อเสียของ bagging

ข้อดี

  • Bagging มักช่วยลด variance
  • ensemble ช่วยป้องกัน overfitting ได้ในตัวเอง
  • มีความเสถียรและทนทานมากขึ้น

ข้อเสีย

  • ใช้ทรัพยากรการคำนวณสูง
Ensemble Methods ใน Python

มาฝึกกันเถอะ!

Ensemble Methods ใน Python

Preparing Video For Download...