Ôn tập grid search và random search

Gradient Boosting Cực Mạnh với XGBoost

Sergey Fogelson

Head of Data Science, TelevisaUnivision

Grid search: ôn tập

Duyệt cạn kiệt trên một tập siêu tham số cho trước, một lần cho mỗi cấu hình siêu tham số
Số mô hình = số giá trị khác nhau của mỗi siêu tham số nhân với nhau qua tất cả siêu tham số
Chọn giá trị siêu tham số cuối cùng cho mô hình dựa trên chỉ số đánh giá cross-validation tốt nhất

Grid search: ví dụ

import pandas as pd
import xgboost as xgb
import numpy as np
from sklearn.model_selection import GridSearchCV

housing_data = pd.read_csv("ames_housing_trimmed_processed.csv")
X, y = housing_data[housing_data.columns.tolist()[:-1]], 
       housing_data[housing_data.columns.tolist()[-1]
housing_dmatrix = xgb.DMatrix(data=X,label=y)

gbm_param_grid = {'learning_rate': [0.01,0.1,0.5,0.9],
                  'n_estimators': [200],
                  'subsample': [0.3, 0.5, 0.9]}

gbm = xgb.XGBRegressor()
grid_mse = GridSearchCV(estimator=gbm,param_grid=gbm_param_grid, 
            scoring='neg_mean_squared_error', cv=4, verbose=1)
grid_mse.fit(X, y)

print("Best parameters found: ",grid_mse.best_params_)
print("Lowest RMSE found: ", np.sqrt(np.abs(grid_mse.best_score_)))

Best parameters found: {'learning_rate': 0.1, 
'n_estimators': 200, 'subsample': 0.5}
Lowest RMSE found:  28530.1829341

Random search: ôn tập

Tạo một miền giá trị (có thể vô hạn) cho mỗi siêu tham số bạn muốn tìm kiếm
Đặt số vòng lặp bạn muốn chạy random search
Mỗi vòng lặp, rút ngẫu nhiên một giá trị trong miền đã chỉ định cho mỗi siêu tham số và huấn luyện/đánh giá mô hình với các giá trị đó
Khi đạt số vòng lặp tối đa, chọn cấu hình siêu tham số có điểm đánh giá tốt nhất

Random search: ví dụ

import pandas as pd
import xgboost as xgb
import numpy as np
from sklearn.model_selection import RandomizedSearchCV
housing_data = pd.read_csv("ames_housing_trimmed_processed.csv")
X,y = housing_data[housing_data.columns.tolist()[:-1]],
      housing_data[housing_data.columns.tolist()[-1]]
housing_dmatrix = xgb.DMatrix(data=X,label=y)

gbm_param_grid = {'learning_rate': np.arange(0.05,1.05,.05),
                  'n_estimators': [200],
                  'subsample': np.arange(0.05,1.05,.05)}

gbm = xgb.XGBRegressor()
randomized_mse = RandomizedSearchCV(estimator=gbm, param_distributions=gbm_param_grid, 
                        n_iter=25, scoring='neg_mean_squared_error', cv=4, verbose=1)
randomized_mse.fit(X, y)

print("Best parameters found: ",randomized_mse.best_params_)
print("Lowest RMSE found: ", np.sqrt(np.abs(randomized_mse.best_score_)))

Best parameters found: {'subsample': 0.60000000000000009,
'n_estimators': 200, 'learning_rate': 0.20000000000000001}
Lowest RMSE found: 28300.2374291

Cùng luyện tập nào!

Gradient Boosting Cực Mạnh với XGBoost