Bootstrap aggregating

Metody zespołowe w Pythonie

Román de las Heras

Data Scientist, Appodeal

Ensemble heterogeniczny vs homogeniczny

Heterogeniczny:

  • Różne algorytmy (dostrojone)
  • Mała liczba estymatorów
  • Głosowanie, uśrednianie i stacking

Homogeniczny:

  • Ten sam algorytm (model „słaby")
  • Duża liczba estymatorów
  • Bagging i boosting
Metody zespołowe w Pythonie

Twierdzenie ławy przysięgłych Condorceta

Wymagania:

  • Modele są niezależne
  • Każdy model działa lepiej niż losowe zgadywanie
  • Wszystkie modele mają zbliżoną wydajność

Wniosek: Dodawanie kolejnych modeli poprawia wydajność ensemble (głosowanie lub uśrednianie), dążąc do 1 (100%)

Condorcet Markiz de Condorcet, francuski filozof i matematyk

Metody zespołowe w Pythonie

Bootstrapping

Bootstrapping wymaga:

  • Losowych podprób
  • Próbkowania ze zwracaniem

Bootstrapping gwarantuje:

  • Zróżnicowany zbiór: różne zestawy danych
  • Niezależność: oddzielne próbkowanie

Bagging.png

Metody zespołowe w Pythonie

Zalety i wady baggingu

Zalety

  • Bagging zazwyczaj zmniejsza wariancję
  • Ensemble sam w sobie może zapobiegać przeuczeniu
  • Większa stabilność i odporność

Wady

  • Jest obliczeniowo kosztowny
Metody zespołowe w Pythonie

Czas na praktykę!

Metody zespołowe w Pythonie

Preparing Video For Download...