選擇你的最終模型
Python 的模型驗證
Kasey Jones
Data Scientist
# Best Score
rs.best_score_
5.45
# Best Parameters
rs.best_params_
{'max_depth': 4, 'max_features': 8, 'min_samples_split': 4}
# Best Estimator
rs.best_estimator_
其他屬性
rs.cv_results_rs.cv_results_['mean_test_score']
array([5.45, 6.23, 5.87, 5,91, 5,67])
# Selected Parameters:
rs.cv_results_['params']
[{'max_depth': 10, 'min_samples_split': 8, 'n_estimators': 25},
{'max_depth': 4, 'min_samples_split': 8, 'n_estimators': 50},
...]
使用 .cv_results_
將 max_depth 分組：
max_depth = [item['max_depth'] for item in rs.cv_results_['params']]
scores = list(rs.cv_results_['mean_test_score'])
d = pd.DataFrame([max_depth, scores]).T
d.columns = ['Max Depth', 'Score']
d.groupby(['Max Depth']).mean()
Max Depth Score
2.0 0.677928
4.0 0.753021
6.0 0.817219
8.0 0.879136
10.0 0.896821
更多屬性說明
輸出的用途：
- 視覺化各參數的影響
- 推論哪些參數對結果影響最大
Max Depth Score
2.0 0.677928
4.0 0.753021
6.0 0.817219
8.0 0.879136
10.0 0.896821
選出最佳模型
rs.best_estimator_ 包含最佳模型的資訊
rs.best_estimator_
RandomForestRegressor(bootstrap=True, criterion='mse', max_depth=8,
max_features=8, max_leaf_nodes=None, min_impurity_decrease=0.0,
min_impurity_split=None, min_samples_leaf=1,
min_samples_split=12, min_weight_fraction_leaf=0.0,
n_estimators=20, n_jobs=1, oob_score=False, random_state=1111,
verbose=0, warm_start=False)
比較不同模型
隨機森林：
rfr.score(X_test, y_test)
6.39
梯度提升：
gb.score(X_test, y_test)
6.23
使用 .best_estimator_
預測新資料：
rs.best_estimator_.predict(<new_data>)
檢查參數：
random_search.best_estimator_.get_params()
儲存模型以便日後使用：
from sklearn.externals import joblib
joblib.dump(rfr, 'rfr_best_<date>.pkl')
一起來練習吧！
Python 的模型驗證
