Порівняння Grid Search і Random Search
Тюнінг гіперпараметрів у Python
Alex Scriven
Data Scientist
Що спільного?
Спільне між Random і Grid Search?
- Обидва — автоматизовані способи налаштування гіперпараметрів
- В обох ви задаєте ґрід для вибірки (які гіперпараметри та значення для кожного)
Продумайте свій ґрід заздалегідь!
- В обох ви задаєте схему крос‑валідації та функцію оцінювання
Чим відрізняються?
Grid Search:
- Повно перебирає всі комбінації у просторі вибірки
- Немає методології вибіркового відбору
- Більш витратний обчислювально
- Гарантовано знайде найкращий бал у просторі вибірки
Random Search:
- Випадково обирає підмножину комбінацій у просторі вибірки (який ви визначаєте)
- Можна обрати метод вибірки (окрім рівномірної за замовчуванням)
- Менш витратний обчислювально
- Не гарантує найкращий бал у просторі вибірки (але ймовірно швидше знайде добр ий результат)
Що обрати?
Який метод обрати? На що зважати?
- Скільки у вас даних?
- Скільки гіперпараметрів і значень ви хочете налаштовувати?
- Скільки маєте ресурсів? (час, обчислювальна потужність)
- Більше даних — Random Search може бути кращим.
- Чим їх більше, тим Random Search може бути кращим.
- Менше ресурсів — Random Search може бути кращим.
Давайте потренуємось!
Тюнінг гіперпараметрів у Python
