हाइपरपैरामीटर ट्यूनिंग

Python में Kaggle प्रतियोगिता जीतना

Yauhen Babakhin

Kaggle Grandmaster

इटरेशन्स

मॉडल वैलिडेशन RMSE पब्लिक LB RMSE पब्लिक LB पोजीशन
सिंपल मीन 9.986 9.409 1449 / 1500
ग्रुप मीन 9.978 9.407 1411 / 1500
ग्रेडिएंट बूस्टिंग 5.996 4.595 1109 / 1500
hour फीचर जोड़ें 5.553 4.352 1068 / 1500
distance फीचर जोड़ें 5.268 4.103 1006 / 1500
... ... ... ...
Python में Kaggle प्रतियोगिता जीतना

इटरेशन्स

मॉडल वैलिडेशन RMSE पब्लिक LB RMSE पब्लिक LB पोजीशन
सिंपल मीन 9.986 9.409 1449 / 1500
ग्रुप मीन 9.978
ग्रेडिएंट बूस्टिंग 5.996 4.595 1109 / 1500
hour फीचर जोड़ें 5.553
distance फीचर जोड़ें 5.268 4.103 1006 / 1500
... ... ... ...
Python में Kaggle प्रतियोगिता जीतना

हाइपरपैरामीटर ऑप्टिमाइज़ेशन

 

प्रतियोगिता प्रकार फीचर इंजीनियरिंग हाइपरपैरामीटर ऑप्टिमाइज़ेशन
क्लासिक मशीन लर्निंग +++ +
डीप लर्निंग - +++
Python में Kaggle प्रतियोगिता जीतना

रिज रिग्रेशन

 

लीस्ट स्क्वेयर्स लीनियर रिग्रेशन

$$Loss = \sum_{i=1}^{N}{(y_i - \hat{y}_i)^2} \to \min$$

Python में Kaggle प्रतियोगिता जीतना

रिज रिग्रेशन

 

लीस्ट स्क्वेयर्स लीनियर रिग्रेशन

$$Loss = \sum_{i=1}^{N}{(y_i - \hat{y}_i)^2} \to \min$$

रिज रिग्रेशन

$$Loss = \sum_{i=1}^{N}{(y_i - \hat{y}_i)^2 + \alpha\sum_{j=1}^{K}{{w_j}^2}} \to \min$$

Python में Kaggle प्रतियोगिता जीतना

हाइपरपैरामीटर ऑप्टिमाइज़ेशन स्ट्रैटेजीज़

 

  • ग्रिड सर्च. हाइपरपैरामीटर वैल्यूज़ का पहले से तय ग्रिड चुनें
  • रैंडम सर्च. हाइपरपैरामीटर वैल्यूज़ का सर्च स्पेस चुनें
  • बेइज़ियन ऑप्टिमाइज़ेशन. हाइपरपैरामीटर वैल्यूज़ का सर्च स्पेस चुनें

ग्रिड सर्च स्कीम

रैंडम सर्च स्कीम

Python में Kaggle प्रतियोगिता जीतना

ग्रिड सर्च

# Possible alpha values
alpha_grid = [0.01, 0.1, 1, 10]

from sklearn.linear_model import Ridge results = {} # For each value in the grid for candidate_alpha in alpha_grid:
# Create a model with a specific alpha value ridge_regression = Ridge(alpha=candidate_alpha)
# Find the validation score for this model
# Save the results for each alpha value results[candidate_alpha] = validation_score
Python में Kaggle प्रतियोगिता जीतना

अभ्यास करते हैं!

Python में Kaggle प्रतियोगिता जीतना

Preparing Video For Download...