Tinh chỉnh mô hình

Dự đoán CTR với Machine Learning trong Python

Kevin Huo

Instructor

Regularization

Ví dụ regularization với đường xanh và xanh lá

Regularization: xử lý overfitting bằng cách điều chỉnh độ lớn hệ số của các tham số trong mô hình
Regularization có thể tăng điểm hiệu năng và do đó tăng ROI cho chi tiêu quảng cáo

Ví dụ về regularization

Hồi quy Logistic: tham số C là nghịch đảo của độ mạnh regularization.
Từ ít đến phức tạp hơn: C=0.05 < C=0.5 < C=1
Cây quyết định: tham số max_depth kiểm soát số tầng tối đa của cây.
Từ ít đến phức tạp hơn: max_depth=3 < max_depth=5 < max_depth=10

Cross validation

K-fold cross validation

Với mỗi trong k fold, fold đó làm tập kiểm tra (validation), còn k-1 fold còn lại làm tập huấn luyện.
Vì vậy, bạn có k lần đánh giá hiệu năng mô hình.
Vẫn giữ một tập kiểm tra riêng để đánh giá cuối cùng.

Ví dụ về cross validation

k_fold = KFold(n_splits = 4, random_state = 0, shuffle = True)

for i in [3, 5, 10]:
  clf = DecisionTreeClassifier(max_depth = i)
  cv_precision = cross_val_score(
    clf, X_train, y_train, cv = k_fold, 
    scoring = 'precision_weighted')

Chuỗi scoring: precision_weighted, recall_weighted, roc_auc

Hãy luyện tập!

Dự đoán CTR với Machine Learning trong Python