Параметры бэггинга: советы и приёмы

Ансамблевые методы в Python

Román de las Heras

Data Scientist, Appodeal

Основные параметры бэггинга

Основные параметры
  • base_estimator
  • n_estimators
  • oob_score
    • est_bag.oob_score_
Ансамблевые методы в Python

Дополнительные параметры бэггинга

Дополнительные параметры
  • max_samples: количество объектов выборки для каждого оценщика.
  • max_features: количество признаков для каждого оценщика.
    • Классификация ~ sqrt(number_of_features)
    • Регрессия ~ number_of_features / 3
  • bootstrap: использовать ли выборку с возвращением.
    • True --> max_samples = 1.0
    • False --> max_samples < 1.0
Ансамблевые методы в Python

Случайный лес

Классификация

from sklearn.ensemble import RandomForestClassifier

clf_rf = RandomForestClassifier(
    # parameters...
)

Регрессия

from sklearn.ensemble import RandomForestRegressor

reg_rf = RandomForestRegressor(
    # parameters...
)

Параметры бэггинга:

  • n_estimators
  • max_features
  • oob_score

Параметры дерева:

  • max_depth
  • min_samples_split
  • min_samples_leaf
  • class_weight ("balanced")
Ансамблевые методы в Python

Компромисс между смещением и дисперсией

biasvariance.png

Ансамблевые методы в Python

Давайте потренируемся!

Ансамблевые методы в Python

Preparing Video For Download...