Membandingkan Grid vs. Random Search
Penyetelan Hyperparameter di Python
Alex Scriven
Data Scientist
Apa yang sama?
Kesamaan antara Random dan Grid Search?
- Keduanya otomatis untuk menala berbagai hyperparameter
- Pada keduanya Anda menetapkan grid untuk diambil sampelnya (hyperparameter mana dan nilai untuk masing-masing)
Ingat: rancang grid Anda dengan saksama!
- Pada keduanya Anda menetapkan skema cross-validation dan fungsi skor
Apa bedanya?
Grid Search:
- Mencoba semua kombinasi dalam ruang sampel secara menyeluruh
- Tanpa metodologi sampling
- Lebih mahal secara komputasi
- Dijamin menemukan skor terbaik dalam ruang sampel
Random Search:
- Memilih subset kombinasi secara acak dalam ruang sampel (yang harus Anda tentukan)
- Dapat memilih metodologi sampling (selain uniform sebagai default)
- Lebih hemat komputasi
- Tidak dijamin menemukan skor terbaik dalam ruang sampel (namun cenderung menemukan yang baik lebih cepat)
Sebaiknya pakai yang mana?
Jadi, mana yang harus saya gunakan? Apa pertimbangannya?
- Seberapa banyak data yang Anda punya?
- Berapa banyak hyperparameter dan nilai yang ingin ditala?
- Seberapa besar sumber daya Anda? (Waktu, komputasi)
- Semakin banyak data, random search mungkin lebih baik.
- Semakin banyak hal ini, random search mungkin lebih baik.
- Semakin sedikit sumber daya, random search mungkin lebih baik.
Ayo berlatih!
Penyetelan Hyperparameter di Python
