RandomizedSearchCV
Modellvalidering i Python
Kasey Jones
Data Scientist
Sökning i hyperparameterrutnät
Rutnätssökning – fortsättning
Fördelar:
- Testar alla möjliga kombinationer
Nackdelar:
- Fler hyperparametrar ökar träningstiden exponentiellt
Bättre metoder
Slumpmässig sökning
from sklearn.model_selection import RandomizedSearchCV
random_search = RandomizedSearchCV()
Parameterfördelning:
param_dist = {"max_depth": [4, 6, 8, None],
"max_features": range(2, 11),
"min_samples_split": range(2, 11)}
Parametrar för slumpmässig sökning
Parametrar:
estimator: modellen som ska användasparam_distributions: ordbok med hyperparametrar och möjliga värdenn_iter: antal iterationerscoring: poängsättningsmetod
Ange parametrar för RandomizedSearchCV
param_dist = {"max_depth": [4, 6, 8, None],
"max_features": range(2, 11),
"min_samples_split": range(2, 11)}
from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import make_scorer, mean_absolute_error
rfr = RandomForestRegressor(n_estimators=20, random_state=1111)
scorer = make_scorer(mean_absolute_error)
RandomizedSearchCV implementerat
Konfigurera den slumpmässiga sökningen:
random_search =\
RandomizedSearchCV(estimator=rfr,
param_distributions=param_dist,
n_iter=40,
cv=5)
- Hyperparameteroptimering kräver förståelse för modellvalidering
- Modellvalidering gör det möjligt att jämföra flera modeller och parameteruppsättningar
RandomizedSearchCV implementerat
Konfigurera den slumpmässiga sökningen:
random_search =\
RandomizedSearchCV(estimator=rfr,
param_distributions=param_dist,
n_iter=40,
cv=5)
Kör den slumpmässiga sökningen:
random_search.fit(X, y)
Nu kör vi en övning!
Modellvalidering i Python
