Ringkasan
Penyetelan Hyperparameter di Python
Alex Scriven
Data Scientist
Hyperparameter vs Parameter
Hyperparameter vs Parameter:
Hyperparameter adalah komponen model yang Anda tetapkan. Tidak dipelajari selama pemodelan
Parameter tidak Anda tetapkan. Algoritme yang menemukannya untuk Anda
Hyperparameter & nilai mana?
Anda telah mempelajari:
- Beberapa hyperparameter lebih baik untuk awal daripada yang lain
- Ada nilai hyperparameter yang keliru
- Waspadai hyperparameter yang saling bertentangan
- Praktik terbaik bergantung pada algoritme dan hyperparameter-nya
Mengingat Grid Search
Kita mengenalkan grid search:
- Buat matriks (atau “grid”) kombinasi hyperparameter dan nilainya
- Bangun model untuk semua kombinasi hyperparameter
- Lalu pilih pemenangnya
Opsinya mahal secara komputasi namun menjamin terbaik dalam grid Anda. (Ingat pentingnya menyetel grid yang baik!)
Mengingat Random Search
Random Search:
- Mirip dengan grid search
- Bedanya memilih (n) kombinasi secara acak
Metode ini lebih cepat mendapatkan model yang cukup baik tetapi tidak akan mendapatkan yang terbaik dalam grid Anda.
Dari pencarian tanpa informasi ke terinformasi
Melihat pencarian terinformasi:
Pada pencarian terinformasi, tiap iterasi belajar dari yang terakhir, sedangkan pada Grid dan Random, pemodelan dilakukan sekaligus lalu dipilih yang terbaik.
Metode terinformasi yang dibahas:
- 'Kasar ke Halus' (acak iteratif lalu grid search)
- Penalaan hyperparameter Bayesian, memperbarui keyakinan dengan bukti kinerja model
- Algoritme genetik, mengembangkan model lintas generasi
Terima kasih!
Penyetelan Hyperparameter di Python
