Penyetelan hiperparameter pada deep learning

Memprediksi CTR dengan Machine Learning di Python

Kevin Huo

Instructor

Learning rate dan jumlah iterasi

Contoh learning rate

  • Bobot diperbarui secara iteratif
    • Menggunakan backpropagation
  • Learning rate yang baik menurunkan loss cepat lalu stabil
    • Garis merah
  • Learning rate terlalu tinggi menyebabkan overshoot dan loss sangat besar
    • Garis kuning
Memprediksi CTR dengan Machine Learning di Python

Memilih hidden layer

Dampak ukuran hidden layer

  • Kinerja naik hingga tingkat kompleksitas tertentu, lalu menurun.
Memprediksi CTR dengan Machine Learning di Python

Grid search

param_grid = {'max_iter': [10, 20], 
              'hidden_layer_sizes': [(8, ), (16, )]}

clf = GridSearchCV(
  estimator = MLPClassifier(), param_grid = param_grid, 
  n_jobs = 4)
print(clf.best_score_)
print(clf.best_estimator_)

0.65
MLPClassifier(hidden_layer_size = (16,), ...)
Memprediksi CTR dengan Machine Learning di Python

Perluasan di dunia nyata

  • Batch size dan epoch juga bisa jadi hiperparameter
    • Batch size untuk mini-batch (pelatihan dalam batch kecil), epoch untuk jumlah iterasi lewat seluruh data latih
  • Inisialisasi bobot bervariasi dan memengaruhi hasil
    • Contoh: sebaran uniform, sebaran normal, dll.
  • Keras dan TensorFlow sering dipakai alih-alih sklearn
    • Karena fungsionalitas sklearn lebih terbatas
Memprediksi CTR dengan Machine Learning di Python

Ayo berlatih!

Memprediksi CTR dengan Machine Learning di Python

Preparing Video For Download...