Podsumowanie
Strojenie hiperparametrów w Pythonie
Alex Scriven
Data Scientist
Hiperparametry vs parametry
Hiperparametry vs parametry:
Hiperparametry to elementy modelu ustawiane przez użytkownika. Nie są wyznaczane w procesie modelowania
Parametry nie są ustawiane przez użytkownika. Algorytm wyznacza je automatycznie
Które hiperparametry i wartości?
Omówione zagadnienia:
- Niektóre hiperparametry są lepszym punktem startowym niż inne
- Istnieją wartości hiperparametrów, których należy unikać
- Należy uważać na konflikty między hiperparametrami
- Najlepsze praktyki są specyficzne dla algorytmów i ich hiperparametrów
Przeszukiwanie siatki
Wprowadzenie do przeszukiwania siatki:
- Konstruowanie macierzy (siatki) kombinacji hiperparametrów i ich wartości
- Budowanie modeli dla wszystkich kombinacji hiperparametrów
- Wybór najlepszego modelu
Metoda kosztowna obliczeniowo, lecz gwarantuje znalezienie najlepszej kombinacji w siatce. (Ważne jest odpowiednie zdefiniowanie siatki!)
Przeszukiwanie losowe
Przeszukiwanie losowe:
- Bardzo podobne do przeszukiwania siatki
- Główna różnica: wybór (n) losowych kombinacji
Metoda szybsza w uzyskaniu rozsądnego modelu, ale nie gwarantuje znalezienia najlepszego w siatce.
Od przeszukiwania bez informacji do informowanego
Przeszukiwanie z użyciem informacji zwrotnej:
W metodach informowanych każda iteracja korzysta z wyników poprzedniej. W metodach siatki i losowej wszystkie modele są budowane jednocześnie, a następnie wybierany jest najlepszy.
Omówione metody informowane:
- „Od ogółu do szczegółu" (iteracyjne przeszukiwanie losowe, a następnie siatkowe)
- Bayesowskie strojenie hiperparametrów – aktualizacja przekonań na podstawie wyników modelu
- Algorytmy genetyczne – ewolucja modeli na przestrzeni pokoleń
Dziękujemy!
Strojenie hiperparametrów w Pythonie
