Подведение итогов
Подбор гиперпараметров в Python
Alex Scriven
Data Scientist
Гиперпараметры и параметры
Гиперпараметры и параметры:
Гиперпараметры — это компоненты модели, которые задаёте вы. Они не обучаются в процессе моделирования
Параметры вы не задаёте. Их находит алгоритм
Какие гиперпараметры и значения?
Вы узнали:
- Одни начальные значения гиперпараметров лучше других
- Некоторые значения гиперпараметров бессмысленны
- Нужно учитывать конфликтующие гиперпараметры
- Лучшие практики зависят от алгоритма и его гиперпараметров
Поиск по сетке
Мы познакомились с поиском по сетке:
- Составляется матрица («сетка») комбинаций гиперпараметров и их значений
- Модели строятся для всех комбинаций гиперпараметров
- Затем выбирается лучший вариант
Этот метод требует больших вычислительных ресурсов, но гарантированно находит лучший результат в сетке. (Не забывайте о важности правильного задания сетки!)
Случайный поиск
Случайный поиск:
- Очень похож на поиск по сетке
- Главное отличие — выбирается (n) случайных комбинаций
Этот метод быстрее даёт приемлемую модель, но не находит лучшую в сетке.
От ненаправленного к направленному поиску
Направленный поиск:
При направленном поиске каждая итерация учитывает результаты предыдущей, тогда как при поиске по сетке и случайном поиске все модели строятся сразу, а затем выбирается лучшая.
Рассмотренные методы направленного поиска:
- «От общего к частному» (итеративный случайный поиск с последующим поиском по сетке)
- Байесовская настройка гиперпараметров — обновление предположений на основе результатов модели
- Генетические алгоритмы — эволюция моделей на протяжении поколений
Спасибо!
Подбор гиперпараметров в Python
