Gradient boosting
Uczenie maszynowe z modelami drzewiastymi w R
Sandro Raabe
Data Scientist
Powtórzenie: boosting
- Używa słabych uczących się (np. drzew decyzyjnych z jednym podziałem), które działają nieco lepiej niż losowe zgadywanie
- Sumuje te słabe modele i odfiltrowuje poprawne przewidywania
- Zajmuje się trudnymi obserwacjami na każdym kroku
- AdaBoost: pierwszy popularny algorytm boostingu
- Gradient Boosting: usprawnienie AdaBoost
Porównanie
Adaboost
- Używa pniaków decyzyjnych jako słabych uczących się
- Przypisuje wagi obserwacjom:
- Wysoka waga dla trudnych obserwacji
- Niska waga dla poprawnych przewidywań
Gradient boosting
- Używa małych drzew decyzyjnych jako słabych uczących się
- Funkcja straty zamiast wag
- Optymalizacja funkcji straty przez gradient descent
Zalety i wady boostingu
Zalety
- Należy do najlepszych modeli uczenia maszynowego
- Dobra opcja dla niezbalansowanych danych
Wady
- Podatny na przeuczenie
- Trenowanie może być wolne (zależnie od hiperparametru learning rate)
- Wiele hiperparametrów do dostrojenia
Hiperparametry gradient boostingu
Znane z prostych drzew decyzyjnych
min_n: minimalna liczba punktów w węźle wymagana do dalszego podziałutree_depth: maksymalna głębokość drzewa / liczba podziałów
Znane z lasów losowych i drzew baggowanych:
sample_size: ilość danych używanych w procedurze dopasowaniatrees: liczba drzew w zespole
Hiperparametry gradient boostingu
Znane z lasów losowych:
mtry: liczba predyktorów losowo próbkowanych przy każdym podziale
Specyficzne dla drzew boostowanych:
learn_rate: tempo adaptacji algorytmu boostingu między iteracjamiloss_reduction: redukcja funkcji straty wymagana do dalszego podziałustop_iter: liczba iteracji bez poprawy przed zatrzymaniem
Ćwiczmy!
Uczenie maszynowe z modelami drzewiastymi w R
