AdaBoost

Машинное обучение на основе древовидных моделей в Python

Elie Kawerk

Data Scientist

Бустинг

  • Бустинг: метод ансамблирования, объединяющий несколько слабых моделей в одну сильную.

  • Слабая модель: модель, работающая лишь немного лучше случайного угадывания.

  • Пример слабой модели: решающий пень (CART с максимальной глубиной 1).

Машинное обучение на основе древовидных моделей в Python

Бустинг

  • Предсказатели обучаются последовательно.

  • Каждый предсказатель исправляет ошибки предыдущего.

  • Наиболее популярные методы бустинга:

    • AdaBoost,

    • Gradient Boosting.

Машинное обучение на основе древовидных моделей в Python

Adaboost

  • Расшифровывается как Adaptive Boosting («адаптивный бустинг»).

  • Каждый предсказатель уделяет больше внимания объектам, на которых предыдущий допустил ошибки.

  • Достигается изменением весов обучающих объектов.

  • Каждому предсказателю назначается коэффициент $\alpha$.

  • $\alpha$ зависит от ошибки предсказателя на обучении.

Машинное обучение на основе древовидных моделей в Python

AdaBoost: обучение

Обучение AdaBoost

Машинное обучение на основе древовидных моделей в Python

Скорость обучения

Скорость обучения: $0 < \eta \leq 1$ Скорость обучения AdaBoost

Машинное обучение на основе древовидных моделей в Python

AdaBoost: предсказание

  • Классификация:

    • Взвешенное голосование большинством.
    • В sklearn: AdaBoostClassifier.

  • Регрессия:

    • Взвешенное среднее.
    • В sklearn: AdaBoostRegressor.
Машинное обучение на основе древовидных моделей в Python

Классификация AdaBoost в sklearn (набор данных Breast Cancer)

# Import models and utility functions
from sklearn.ensemble import AdaBoostClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split

# Set seed for reproducibility
SEED = 1

# Split data into 70% train and 30% test
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3,
                                                    stratify=y,
                                                    random_state=SEED)
Машинное обучение на основе древовидных моделей в Python
# Instantiate a classification-tree 'dt'
dt = DecisionTreeClassifier(max_depth=1, random_state=SEED)


# Instantiate an AdaBoost classifier 'adab_clf'
adb_clf = AdaBoostClassifier(base_estimator=dt, n_estimators=100)



# Fit 'adb_clf' to the training set
adb_clf.fit(X_train, y_train)

# Predict the test set probabilities of positive class
y_pred_proba = adb_clf.predict_proba(X_test)[:,1]



# Evaluate test-set roc_auc_score
adb_clf_roc_auc_score = roc_auc_score(y_test, y_pred_proba)
Машинное обучение на основе древовидных моделей в Python

Классификация AdaBoost в sklearn (набор данных Breast Cancer)

# Print adb_clf_roc_auc_score
print('ROC AUC score: {:.2f}'.format(adb_clf_roc_auc_score)) 

ROC AUC score: 0.99
Машинное обучение на основе древовидных моделей в Python

Давайте потренируемся!

Машинное обучение на основе древовидных моделей в Python

Preparing Video For Download...