Porównanie przeszukiwania siatki i losowego
Strojenie hiperparametrów w Pythonie
Alex Scriven
Data Scientist
Co jest wspólne?
Podobieństwa między przeszukiwaniem losowym a siatkowym?
- Oba są zautomatyzowanymi metodami dostrajania hiperparametrów
- W obu przypadkach definiuje się siatkę próbkowania (hiperparametry i ich wartości)
Należy starannie przemyśleć konfigurację siatki!
- W obu przypadkach określa się schemat walidacji krzyżowej i funkcję oceny
Co jest różne?
Przeszukiwanie siatkowe:
- Sprawdza wyczerpująco wszystkie kombinacje w przestrzeni próbek
- Brak metodologii próbkowania
- Większe koszty obliczeniowe
- Gwarantuje znalezienie najlepszego wyniku w przestrzeni próbek
Przeszukiwanie losowe:
- Losowo wybiera podzbiór kombinacji w przestrzeni próbek (liczba musi być określona)
- Umożliwia wybór metodologii próbkowania (innej niż domyślna jednostajna)
- Mniejsze koszty obliczeniowe
- Nie gwarantuje znalezienia najlepszego wyniku, ale prawdopodobnie znajdzie dobry wynik szybciej
Którą metodę wybrać?
Którą metodę wybrać? Co należy wziąć pod uwagę?
- Jak dużo danych posiadamy?
- Ile hiperparametrów i wartości chcemy dostroić?
- Jakimi zasobami dysponujemy? (czas, moc obliczeniowa)
- Więcej danych oznacza, że przeszukiwanie losowe może być lepszym wyborem.
- Więcej hiperparametrów oznacza, że przeszukiwanie losowe może być lepszym wyborem.
- Mniejsze zasoby oznaczają, że przeszukiwanie losowe może być lepszym wyborem.
Czas na ćwiczenia!
Strojenie hiperparametrów w Pythonie
