Trực giác đằng sau các phương pháp dựa trên cây

Học có giám sát với R: Hồi quy

Nina Zumel and John Mount

Win-Vector, LLC

Ví dụ: Dự đoán trí thông minh động vật từ Thời gian mang thai và Kích thước lứa

Học có giám sát với R: Hồi quy

Cây quyết định

Các quy tắc dạng:

  • nếu a VÀ b VÀ c THÌ y

Khái niệm phi tuyến

  • khoảng (intervals)
  • quan hệ không đơn điệu

tương tác không cộng gộp

  • VÀ: giống phép nhân
Học có giám sát với R: Hồi quy

Cây quyết định

  • NẾU Litter < 1.15 VÀ Gestation $\ge$ 268 $\rightarrow$ intelligence = 0.315
  • NẾU Litter TRONG [1.15, 4.3) $\rightarrow$ intelligence = 0.131
Học có giám sát với R: Hồi quy

Cây quyết định

Ưu điểm: Cây có không gian khái niệm biểu đạt tốt

Model RMSE
linear 0.1200419
tree 0.1072732
Học có giám sát với R: Hồi quy

Cây quyết định

Nhược điểm: Dự đoán thô, bậc thang

Học có giám sát với R: Hồi quy

Cây khó biểu đạt quan hệ tuyến tính

Cây dự đoán theo các vùng song song trục

Mỗi màu là một giá trị dự đoán khác nhau

Học có giám sát với R: Hồi quy

Cây khó biểu đạt quan hệ tuyến tính

Biểu diễn đường thẳng bằng các bậc rất khó

Học có giám sát với R: Hồi quy

Vấn đề khác với cây

  • Cây có quá nhiều nhánh (cây sâu):
    • Quá phức tạp - dễ overfit
  • Cây có quá ít nhánh (cây nông):
    • Dự đoán quá thô
Học có giám sát với R: Hồi quy

Tổ hợp cây (Ensembles)

Ensemble cho dự đoán mịn hơn so với một cây đơn lẻ

Học có giám sát với R: Hồi quy

Tổ hợp cây (Ensembles)

Mô hình Ensemble khớp dữ liệu trí thông minh động vật tốt hơn cây đơn

Model RMSE
linear 0.1200419
tree 0.1072732
random forest 0.0901681
Học có giám sát với R: Hồi quy

Cùng luyện tập nào!

Học có giám sát với R: Hồi quy

Preparing Video For Download...