Điều chỉnh siêu tham số

Chinh phục cuộc thi Kaggle bằng Python

Yauhen Babakhin

Kaggle Grandmaster

Lặp lại

Mô hình	RMSE xác thực	RMSE LB công khai	Thứ hạng LB công khai
Trung bình đơn giản	9.986	9.409	1449 / 1500
Trung bình theo nhóm	9.978	9.407	1411 / 1500
Gradient Boosting	5.996	4.595	1109 / 1500
Thêm đặc trưng giờ	5.553	4.352	1068 / 1500
Thêm đặc trưng khoảng cách	5.268	4.103	1006 / 1500
...	...	...	...

Lặp lại

Mô hình	RMSE xác thực	RMSE LB công khai	Thứ hạng LB công khai
Trung bình đơn giản	9.986	9.409	1449 / 1500
Trung bình theo nhóm	9.978
Gradient Boosting	5.996	4.595	1109 / 1500
Thêm đặc trưng giờ	5.553
Thêm đặc trưng khoảng cách	5.268	4.103	1006 / 1500
...	...	...	...

Tối ưu siêu tham số

Loại cuộc thi	Kỹ thuật đặc trưng	Tối ưu siêu tham số
Machine Learning cổ điển	+++	+
Học sâu	-	+++

Hồi quy Ridge

Hồi quy tuyến tính bình phương tối thiểu

$$Loss = \sum_{i=1}^{N}{(y_i - \hat{y}_i)^2} \to \min$$

Hồi quy Ridge

Hồi quy tuyến tính bình phương tối thiểu

$$Loss = \sum_{i=1}^{N}{(y_i - \hat{y}_i)^2} \to \min$$

Hồi quy Ridge

$$Loss = \sum_{i=1}^{N}{(y_i - \hat{y}_i)^2 + \alpha\sum_{j=1}^{K}{{w_j}^2}} \to \min$$

Chiến lược tối ưu siêu tham số

Tìm kiếm lưới (Grid search). Chọn lưới giá trị siêu tham số xác định trước
Tìm kiếm ngẫu nhiên (Random search). Chọn không gian tìm kiếm giá trị siêu tham số
Tối ưu Bayes (Bayesian optimization). Chọn không gian tìm kiếm giá trị siêu tham số

sơ đồ grid search

sơ đồ random search

Tìm kiếm lưới (Grid search)

# Possible alpha values
alpha_grid = [0.01, 0.1, 1, 10]

from sklearn.linear_model import Ridge
results = {}
# For each value in the grid
for candidate_alpha in alpha_grid:

    # Create a model with a specific alpha value
    ridge_regression = Ridge(alpha=candidate_alpha)

    # Find the validation score for this model

    # Save the results for each alpha value
    results[candidate_alpha] = validation_score

Ayo berlatih!

Chinh phục cuộc thi Kaggle bằng Python