Hyperparameterjustering

Vinna en Kaggle-tävling i Python

Yauhen Babakhin

Kaggle Grandmaster

Iterationer

Modell Validerings-RMSE Offentlig LB RMSE Offentlig LB-placering
Enkelt medelvärde 9.986 9.409 1449 / 1500
Gruppmedelvärde 9.978 9.407 1411 / 1500
Gradient Boosting 5.996 4.595 1109 / 1500
Lägg till timme-särdrag 5.553 4.352 1068 / 1500
Lägg till avståndssärdrag 5.268 4.103 1006 / 1500
... ... ... ...
Vinna en Kaggle-tävling i Python

Iterationer

Modell Validerings-RMSE Offentlig LB RMSE Offentlig LB-placering
Enkelt medelvärde 9.986 9.409 1449 / 1500
Gruppmedelvärde 9.978
Gradient Boosting 5.996 4.595 1109 / 1500
Lägg till timme-särdrag 5.553
Lägg till avståndssärdrag 5.268 4.103 1006 / 1500
... ... ... ...
Vinna en Kaggle-tävling i Python

Hyperparameteroptimering

 

Tävlingstyp Särdragskonstruktion Hyperparameteroptimering
Klassisk maskininlärning +++ +
Djupinlärning - +++
Vinna en Kaggle-tävling i Python

Ridge-regression

 

Minsta kvadratmetoden för linjär regression

$$Loss = \sum_{i=1}^{N}{(y_i - \hat{y}_i)^2} \to \min$$

Vinna en Kaggle-tävling i Python

Ridge-regression

 

Minsta kvadratmetoden för linjär regression

$$Loss = \sum_{i=1}^{N}{(y_i - \hat{y}_i)^2} \to \min$$

Ridge-regression

$$Loss = \sum_{i=1}^{N}{(y_i - \hat{y}_i)^2 + \alpha\sum_{j=1}^{K}{{w_j}^2}} \to \min$$

Vinna en Kaggle-tävling i Python

Strategier för hyperparameteroptimering

 

  • Rutnätssökning. Välj ett fördefinierat rutnät av hyperparametervärden
  • Slumpmässig sökning. Välj ett sökutrymme för hyperparametervärden
  • Bayesiansk optimering. Välj ett sökutrymme för hyperparametervärden

schema för rutnätssökning

schema för slumpmässig sökning

Vinna en Kaggle-tävling i Python

Rutnätssökning

# Possible alpha values
alpha_grid = [0.01, 0.1, 1, 10]

from sklearn.linear_model import Ridge results = {} # For each value in the grid for candidate_alpha in alpha_grid:
# Create a model with a specific alpha value ridge_regression = Ridge(alpha=candidate_alpha)
# Find the validation score for this model
# Save the results for each alpha value results[candidate_alpha] = validation_score
Vinna en Kaggle-tävling i Python

Nu kör vi en övning!

Vinna en Kaggle-tävling i Python

Preparing Video For Download...