Random forests

Supervised Learning ใน R: การถดถอย

Nina Zumel and John Mount

Win-Vector, LCC

Random Forests

นำ decision tree หลายต้นที่หลากหลายมาเฉลี่ยรวมกัน

สุ่มตัวอย่าง (bootstrapped sample) จากข้อมูล training
สร้าง tree สำหรับแต่ละตัวอย่าง
- ที่แต่ละ node เลือกตัวแปรที่ดีที่สุดสำหรับแบ่ง (จากกลุ่มย่อยสุ่มของตัวแปรทั้งหมด)
- ดำเนินต่อจนกว่า tree จะสร้างเสร็จ
ในการให้คะแนนข้อมูล ให้ประเมินด้วย tree ทั้งหมดแล้วเฉลี่ยผลลัพธ์

cnt ~ hr + holiday + workingday + 
  weathersit + temp + atemp + hum + windspeed

model <- ranger(fmla, bikesJan, 
                num.trees = 500, 
                respect.unordered.factors = "order")

formula, data
num.trees (ค่าเริ่มต้น 500) - ใช้อย่างน้อย 200
mtry - จำนวนตัวแปรที่ลองที่แต่ละ node
- ค่าเริ่มต้น: รากที่สองของจำนวนตัวแปรทั้งหมด
respect.unordered.factors - แนะนำให้ตั้งค่าเป็น "order"
- การ hashing ตัวแปรจัดกลุ่มแบบ "safe"

model

Ranger result
...
OOB prediction error (MSE):       3103.623 
R squared (OOB):                  0.7837386

อัลกอริทึม random forest คืนค่าประมาณประสิทธิภาพ out-of-sample

bikesFeb$pred <- predict(model, bikesFeb)$predictions

อินพุตของ predict():

เข้าถึงค่าทำนายได้จาก element predictions

คำนวณ RMSE:

bikesFeb %>% 
  mutate(residual = cnt - pred) %>%
  summarize(rmse = sqrt(mean(residual^2)))

      rmse
1 67.15169

โมเดล	RMSE
Quasipoisson	69.3
Random forests	67.15

Supervised Learning ใน R: การถดถอย