डीप लर्निंग में हाइपरपैरामीटर ट्यूनिंग

Python में Machine Learning के साथ CTR प्रेडिक्शन

Kevin Huo

Instructor

लर्निंग रेट और इटरैशंस की संख्या

लर्निंग रेट के उदाहरण

वेट्स को क्रमिक रूप से अपडेट किया जाता है
- बैक-प्रोपेगेशन उपयोग होता है
अच्छा लर्निंग रेट loss को जल्दी गिराकर स्थिर कर देता है
- लाल रेखा में दिखाया गया
बहुत ऊँचा लर्निंग रेट "ओवरशूट" और बहुत अधिक loss कराता है
- पीली रेखा में दिखाया गया

हिडन लेयर साइज का प्रभाव

param_grid = {'max_iter': [10, 20], 
              'hidden_layer_sizes': [(8, ), (16, )]}

clf = GridSearchCV(
  estimator = MLPClassifier(), param_grid = param_grid, 
  n_jobs = 4)
print(clf.best_score_)
print(clf.best_estimator_)

0.65
MLPClassifier(hidden_layer_size = (16,), ...)

Batch size और epochs भी संभावित हाइपरपैरामीटर्स हैं
- Batch size मिनी-बैच के लिए है (ट्रेनिंग छोटे बैच में होती है), और epochs पूरे ट्रेनिंग डेटा पर इटरैशंस की संख्या हैं
वेट्स का initialization बदल सकता है और परिणामों को प्रभावित करता है
- अलग initialization के उदाहरण: uniformly distributed, normally distributed, आदि
sklearn के बजाय अक्सर Keras और TensorFlow उपयोग होते हैं
- कारण: sklearn की तुलना में वहाँ कम फ़ंक्शनलिटी है

Python में Machine Learning के साथ CTR प्रेडिक्शन