Hãy dùng mlxtend!

Ensemble Methods in Python

Román de las Heras

Data Scientist, Appodeal

Mlxtend

Phần mở rộng Học máy
Tiện ích và công cụ cho tác vụ Khoa học dữ liệu:
- Chọn đặc trưng
- Phương pháp ensemble
- Trực quan hóa
- Đánh giá mô hình
API trực quan, thân thiện
Tương thích với estimator scikit-learn

¹ Raschka, Sebastian (2018) MLxtend: Cung cấp tiện ích và phần mở rộng ML & Khoa học dữ liệu cho hệ sinh thái tính toán khoa học Python: https://rasbt.github.io/mlxtend/

Triển khai stacking từ mlxtend

tổng quan stacking classification

Đặc điểm:

Mỗi estimator học trên toàn bộ đặc trưng
Meta-estimator được huấn luyện dùng chính dự đoán làm meta-feature duy nhất
Meta-estimator có thể học với nhãn hoặc xác suất làm mục tiêu

StackingClassifier với mlxtend

from mlxtend.classifier 
    import StackingClassifier

# Khởi tạo các bộ phân loại tầng 1
clf1 = Classifier1(params1)
clf2 = Classifier2(params2)
...
clfN = ClassifierN(paramsN)

# Khởi tạo bộ phân loại tầng 2
clf_meta = ClassifierMeta(paramsMeta)

# Xây dựng Stacking classifier
clf_stack = StackingClassifier(
   classifiers=[clf1, clf2, ... clfN],
   meta_classifier=clf_meta,
   use_probas=False,
   use_features_in_secondary=False)

# Dùng fit và predict
# như với estimator của scikit-learn
clf_stack.fit(X_train, y_train)
pred = clf_stack.predict(X_test)

StackingRegressor với mlxtend

from mlxtend.regressor 
    import StackingRegressor

# Khởi tạo các bộ hồi quy tầng 1
reg1 = Regressor1(params1)
reg2 = Regressor2(params2)
...
regN = RegressorN(paramsN)

# Khởi tạo bộ hồi quy tầng 2
reg_meta = RegressorMeta(paramsMeta)

# Xây dựng Stacking regressor
reg_stack = StackingRegressor(
   regressors=[reg1, reg2, ... regN],
   meta_regressor=reg_meta,
   use_features_in_secondary=False)

# Dùng fit và predict
# như với estimator của scikit-learn
reg_stack.fit(X_train, y_train)
pred = reg_stack.predict(X_test)

Hãy dùng mlxtend!

Ensemble Methods in Python