Адаптивний бустинг: відзначена нагородами модель

Ансамблеві методи в Python

Román de las Heras

Data Scientist, Appodeal

Відзначена нагородами модель

Про AdaBoost:

  • Запропонували Йоав Фройнд і Роберт Шапіре (1997)
  • Лауреат премії Ґеделя (2003)
  • Перший практичний алгоритм бустингу
  • Широко вживаний і відомий ансамблевий метод

Премія Ґеделя

Ансамблеві методи в Python

Властивості AdaBoost

  1. Вибірки беруть за розподілом зважування
    • Складні приклади мають вищі ваги
    • Спочатку рівномірний розподіл
  2. Оцінювачі поєднуються зваженим більшістю голосів
    • Кращим оцінювачам надають більші ваги
  3. Гарантоване покращення
  4. Для класифікації та регресії

Вибірка AdaBoost

Ансамблеві методи в Python

Класифікатор AdaBoost у scikit-learn

AdaBoostClassifier

from sklearn.ensemble import AdaBoostClassifier

clf_ada = AdaBoostClassifier(
   base_estimator,
   n_estimators,
   learning_rate
)

Параметри

  • base_estimator
    • Типово: Decision Tree (max_depth=1)
  • n_estimators
    • Типово: 50
  • learning_rate
    • Типово: 1.0
    • Компроміс між n_estimators і learning_rate
Ансамблеві методи в Python

Регресор AdaBoost у scikit-learn

AdaBoostRegressor

from sklearn.ensemble import AdaBoostRegressor

reg_ada = AdaBoostRegressor(
   base_estimator,
   n_estimators,
   learning_rate,
   loss
)

Параметри

  • base_estimator
    • Типово: Decision Tree (max_depth=3)
  • loss
    • linear (типово)
    • square
    • exponential
Ансамблеві методи в Python

Давайте потренуємось!

Ансамблеві методи в Python

Preparing Video For Download...