Бутстреп-агрегування

Ансамблеві методи в Python

Román de las Heras

Data Scientist, Appodeal

Гетерогенні vs гомогенні ансамблі

Гетерогенний:

  • Різні алгоритми (точно налаштовані)
  • Невелика кількість оцінювачів
  • Голосування, усереднення та стекінг

Гомогенний:

  • Той самий алгоритм («слабка» модель)
  • Велика кількість оцінювачів
  • Беггінг і бустинг
Ансамблеві методи в Python

Теорема присяжних Кондорсе

Вимоги:

  • Моделі незалежні
  • Кожна модель краща за випадкове вгадування
  • Усі окремі моделі мають подібну якість

Висновок: Додавання моделей покращує ансамбль (Voting або Averaging) і прямує до 1 (100%)

Кондорсе Маркіз де Кондорсе, французький філософ і математик

Ансамблеві методи в Python

Бутстрепінг

Бутстрепінг потребує:

  • Випадкових підвибірок
  • Із поверненням

Бутстрепінг гарантує:

  • Різноманітність: різні набори даних
  • Незалежність: окреме вибіркове формування

Bagging.png

Ансамблеві методи в Python

Плюси й мінуси беггінгу

Плюси

  • Беггінг зазвичай зменшує дисперсію
  • Перенавчання можна уникнути самим ансамблем
  • Більша стабільність і надійність

Мінуси

  • Це обчислювально витратно
Ансамблеві методи в Python

Давайте потренуємось!

Ансамблеві методи в Python

Preparing Video For Download...