Бэггинг (Bootstrap aggregating)

Ансамблевые методы в Python

Román de las Heras

Data Scientist, Appodeal

Гетерогенные и гомогенные ансамбли

Гетерогенные:

  • Разные алгоритмы (настроенные)
  • Небольшое число оценщиков
  • Голосование, усреднение и стекинг

Гомогенные:

  • Один алгоритм («слабая» модель)
  • Большое число оценщиков
  • Бэггинг и бустинг
Ансамблевые методы в Python

Теорема Кондорсе о жюри

Требования:

  • Модели независимы
  • Каждая модель работает лучше случайного угадывания
  • Все модели показывают схожую точность

Вывод: Добавление моделей повышает качество ансамбля (голосование или усреднение), стремясь к 1 (100%)

Кондорсе Маркиз де Кондорсе, французский философ и математик

Ансамблевые методы в Python

Бутстрэпирование

Бутстрэп требует:

  • Случайных подвыборок
  • Выборки с возвращением

Бутстрэп обеспечивает:

  • Разнообразие: разные наборы данных
  • Независимость: раздельная выборка

Bagging.png

Ансамблевые методы в Python

Плюсы и минусы бэггинга

Плюсы

  • Бэггинг обычно снижает дисперсию
  • Переобучение предотвращается самим ансамблем
  • Большая стабильность и устойчивость

Минусы

  • Высокие вычислительные затраты
Ансамблевые методы в Python

Давайте потренируемся!

Ансамблевые методы в Python

Preparing Video For Download...