Підсумок
Тюнінг гіперпараметрів у Python
Alex Scriven
Data Scientist
Гіперпараметри vs параметри
Гіперпараметри vs параметри:
Гіперпараметри — це компоненти моделі, які ви задаєте. Вони не навчаються під час моделювання
Параметри ви не задаєте. Алгоритм знаходить їх самостійно
Які гіперпараметри й значення?
Ви дізналися:
- З деяких гіперпараметрів краще починати, ніж з інших
- Є абсурдні значення для гіперпараметрів
- Пильнуйте суперечливі гіперпараметри
- Найкращі практики залежать від алгоритмів і їхніх гіперпараметрів
Пригадуємо Grid Search
Ми розглянули grid search:
- Побудуйте матрицю (або «ґрід») комбінацій гіперпараметрів і значень
- Навчіть моделі для всіх різних комбінацій
- Потім оберіть переможця
Обчислювально затратний підхід, але він гарантує найкраще в межах вашого ґріду. (Пам'ятайте про важливість добре його налаштувати!)
Пригадуємо Random Search
Random Search:
- Дуже схожий на grid search
- Головна відмінність — вибір (n) випадкових комбінацій
Цей метод швидше дає прийнятну модель, але не знайде найкращу у вашому ґріді.
Від непоінформованого до поінформованого пошуку
Переходимо до поінформованого пошуку:
У поінформованому пошуку кожна ітерація вчиться на попередній, тоді як у Grid і Random моделювання виконується одразу, а потім обирають найкраще.
Розглянуті поінформовані методи:
- «Від грубого до тонкого» (ітеративний випадковий, далі grid search)
- Байєсівське налаштування гіперпараметрів, оновлення припущень за доказами про якість моделі
- Генетичні алгоритми, еволюція моделей поколіннями
Дякуємо!
Тюнінг гіперпараметрів у Python
