Hyperparameter-Tuning

Eine Kaggle-Competition in Python gewinnen

Yauhen Babakhin

Kaggle Grandmaster

Iterationen

Modell	Validierungs-RMSE	Öffentl. LB-RMSE	Öffentl. LB-Platz
Einfacher Mittelwert	9.986	9.409	1449 / 1500
Gruppenmittel	9.978	9.407	1411 / 1500
Gradient Boosting	5.996	4.595	1109 / 1500
Stunde als Feature	5.553	4.352	1068 / 1500
Distanz als Feature	5.268	4.103	1006 / 1500
...	...	...	...

Iterationen

Modell	Validierungs-RMSE	Öffentl. LB-RMSE	Öffentl. LB-Platz
Einfacher Mittelwert	9.986	9.409	1449 / 1500
Gruppenmittel	9.978
Gradient Boosting	5.996	4.595	1109 / 1500
Stunde als Feature	5.553
Distanz als Feature	5.268	4.103	1006 / 1500
...	...	...	...

Hyperparameter-Optimierung

Wettbewerb	Feature Engineering	Hyperparameter-Optimierung
Klassisches Machine Learning	+++	+
Deep Learning	-	+++

Ridge-Regression

Lineare Regression (Kleinste Quadrate)

$$Loss = \sum_{i=1}^{N}{(y_i - \hat{y}_i)^2} \to \min$$

Ridge-Regression

Lineare Regression (Kleinste Quadrate)

$$Loss = \sum_{i=1}^{N}{(y_i - \hat{y}_i)^2} \to \min$$

Ridge-Regression

$$Loss = \sum_{i=1}^{N}{(y_i - \hat{y}_i)^2 + \alpha\sum_{j=1}^{K}{{w_j}^2}} \to \min$$

Strategien zur Hyperparameter-Optimierung

Grid Search. Vordefiniertes Gitter von Hyperparametern wählen
Random Search. Suchraum der Hyperparameter wählen
Bayessche Optimierung. Suchraum der Hyperparameter wählen

Schema Grid Search

Schema Random Search

Grid Search

# Possible alpha values
alpha_grid = [0.01, 0.1, 1, 10]

from sklearn.linear_model import Ridge
results = {}
# For each value in the grid
for candidate_alpha in alpha_grid:

    # Create a model with a specific alpha value
    ridge_regression = Ridge(alpha=candidate_alpha)

    # Find the validation score for this model

    # Save the results for each alpha value
    results[candidate_alpha] = validation_score

Lass uns üben!

Eine Kaggle-Competition in Python gewinnen