Gom mẫu (Bootstrap aggregating)

Ensemble Methods in Python

Román de las Heras

Data Scientist, Appodeal

Tập hợp không đồng nhất vs đồng nhất

Không đồng nhất:

  • Thuật toán khác nhau (điều chỉnh tinh)
  • Ít bộ ước lượng
  • Voting, Averaging, Stacking

Đồng nhất:

  • Cùng thuật toán (mô hình “yếu”)
  • Nhiều bộ ước lượng
  • Bagging và Boosting
Ensemble Methods in Python

Định lý bồi thẩm đoàn của Condorcet

Điều kiện:

  • Mô hình độc lập
  • Mỗi mô hình tốt hơn đoán ngẫu nhiên
  • Hiệu năng các mô hình tương tự nhau

Kết luận: Thêm mô hình cải thiện hiệu năng của tập hợp (Voting hoặc Averaging) và tiến gần 1 (100%)

Condorcet Hầu tước de Condorcet, triết gia và nhà toán học Pháp

Ensemble Methods in Python

Bootstrapping

Bootstrapping yêu cầu:

  • Lấy mẫu con ngẫu nhiên
  • Có hoàn lại

Bootstrapping đảm bảo:

  • Đa dạng: bộ dữ liệu khác nhau
  • Độc lập: lấy mẫu riêng rẽ

Bagging.png

Ensemble Methods in Python

Ưu và nhược điểm của bagging

Ưu điểm

  • Thường giảm phương sai
  • Tự bộ mô hình giúp tránh overfitting
  • Ổn định và vững hơn

Nhược điểm

  • Tốn chi phí tính toán
Ensemble Methods in Python

Ayo berlatih!

Ensemble Methods in Python

Preparing Video For Download...