Tổng hợp mọi thứ bằng Ensembling

Ensemble Methods in Python

Román de las Heras

Data Scientist, Appodeal

Chương 1: Voting và Averaging

Voting

  • Kết hợp: mode (đa số)
  • Phân loại
  • Phương pháp ensemble không đồng nhất

Averaging

  • Kết hợp: mean (trung bình)
  • Phân loại và Hồi quy
  • Phương pháp ensemble không đồng nhất

Phù hợp khi bạn:

  • Đã xây nhiều mô hình khác nhau
  • Chưa chắc mô hình nào tốt nhất
  • Muốn cải thiện hiệu năng tổng thể
Ensemble Methods in Python

Chương 2: Bagging

Estimator yếu

  • Hiệu quả chỉ nhỉnh hơn đoán ngẫu nhiên
  • Mô hình nhẹ và nhanh
  • Nền tảng cho ensemble đồng nhất

Bagging (Bootstrap Aggregating)

  • Lấy mẫu ngẫu nhiên có hoàn lại
  • Nhiều estimator "yếu"
  • Gộp bằng Voting hoặc Averaging
  • Phương pháp ensemble đồng nhất

Phù hợp khi bạn:

  • Muốn giảm phương sai
  • Cần tránh overfitting
  • Cần ổn định và vững hơn

* Lưu ý:

  • Bagging tốn nhiều tính toán
Ensemble Methods in Python

Chương 3: Boosting

Học dần

  • Loại ensemble đồng nhất
  • Dựa trên học lặp
  • Xây mô hình tuần tự

Thuật toán Boosting

  • AdaBoost
  • Gradient Boosting:
    • XGBoost
    • LightGBM
    • CatBoost

Phù hợp khi bạn:

  • Gặp bài toán phức tạp
  • Cần xử lý song song hoặc tính toán phân tán
  • Có dữ liệu lớn hoặc nhiều biến phân loại chiều cao
Ensemble Methods in Python

Chương 4: Stacking

Stacking

  • Kết hợp: meta-estimator (mô hình)
  • Phân loại và Hồi quy
  • Phương pháp ensemble không đồng nhất

Triển khai

  • Tự xây dựng với pandas và sklearn
  • Dùng thư viện MLxtend có sẵn

Phù hợp khi bạn:

  • Đã thử Voting/Averaging nhưng kết quả chưa như mong đợi
  • Có các mô hình mạnh ở các trường hợp khác nhau
Ensemble Methods in Python

Cảm ơn và chúc bạn ensemble thật tốt!

Ensemble Methods in Python

Preparing Video For Download...