Hiperparametre ayarlama

Python ile Bir Kaggle Yarışmasını Kazanmak

Yauhen Babakhin

Kaggle Grandmaster

Yinelemeler

Model	Doğrulama RMSE	Genel LB RMSE	Genel LB Sırası
Basit ortalama	9.986	9.409	1449 / 1500
Grup ortalaması	9.978	9.407	1411 / 1500
Gradient Boosting	5.996	4.595	1109 / 1500
Saat özelliği ekle	5.553	4.352	1068 / 1500
Mesafe özelliği ekle	5.268	4.103	1006 / 1500
...	...	...	...

Yinelemeler

Model	Doğrulama RMSE	Genel LB RMSE	Genel LB Sırası
Basit ortalama	9.986	9.409	1449 / 1500
Grup ortalaması	9.978
Gradient Boosting	5.996	4.595	1109 / 1500
Saat özelliği ekle	5.553
Mesafe özelliği ekle	5.268	4.103	1006 / 1500
...	...	...	...

Hiperparametre optimizasyonu

Yarışma türü	Özellik mühendisliği	Hiperparametre optimizasyonu
Klasik Makine Öğrenimi	+++	+
Derin Öğrenme	-	+++

Ridge regresyonu

En küçük kareler doğrusal regresyonu

$$Loss = \sum_{i=1}^{N}{(y_i - \hat{y}_i)^2} \to \min$$

Ridge regresyonu

En küçük kareler doğrusal regresyonu

$$Loss = \sum_{i=1}^{N}{(y_i - \hat{y}_i)^2} \to \min$$

Ridge regresyonu

$$Loss = \sum_{i=1}^{N}{(y_i - \hat{y}_i)^2 + \alpha\sum_{j=1}^{K}{{w_j}^2}} \to \min$$

Hiperparametre optimizasyon stratejileri

Izgara araması. Önceden tanımlı hiperparametre değer ızgarasını seçin
Rastgele arama. Hiperparametre değer arama uzayını seçin
Bayes optimizasyonu. Hiperparametre değer arama uzayını seçin

ızgara arama şeması

rastgele arama şeması

Izgara araması

# Possible alpha values
alpha_grid = [0.01, 0.1, 1, 10]

from sklearn.linear_model import Ridge
results = {}
# For each value in the grid
for candidate_alpha in alpha_grid:

    # Create a model with a specific alpha value
    ridge_regression = Ridge(alpha=candidate_alpha)

    # Find the validation score for this model

    # Save the results for each alpha value
    results[candidate_alpha] = validation_score

Hadi pratik yapalım!

Python ile Bir Kaggle Yarışmasını Kazanmak