Tập hợp mô hình và tinh chỉnh siêu tham số

Dự đoán CTR với Machine Learning trong Python

Kevin Huo

Instructor

Phương pháp tập hợp (Ensemble)

Ví dụ về lấy mẫu bootstrap (bagging)

Bagging: chọn mẫu ngẫu nhiên cho các mô hình khác nhau, huấn luyện riêng lẻ rồi gộp kết quả.

Rừng ngẫu nhiên

clf = RandomForestClassifier()
print(clf)

RandomForestClassifier(
  bootstrap=True,
  ...
  max_depth = 10,
  ...
  n_estimators = 100,
  ...)

Tinh chỉnh siêu tham số

Siêu tham số: tham số cấu hình trước khi huấn luyện, nằm ngoài mô hình
Ví dụ tham số nhưng KHÔNG phải siêu tham số: hệ số dốc trong hồi quy tuyến tính, trọng số trong hồi quy logistic, v.v.
Ví dụ siêu tham số: max_depth, n_estimators, v.v.

Tìm kiếm theo lưới (Grid search)

param_grid = {'n_estimators': n_estimators, 
              'max_depth': max_depth}

clf = GridSearchCV(estimator = model, 
                   param_grid = param_grid, 
                   scoring = 'roc_auc')
print(clf.best_score_)
print(clf.best_estimator_)

0.6777
RandomForestClassifier(max_depth = 100, ...)

Hãy luyện tập!

Dự đoán CTR với Machine Learning trong Python