Параметри bagging: поради та прийоми

Ансамблеві методи в Python

Román de las Heras

Data Scientist, Appodeal

Базові параметри для bagging

Базові параметри
  • base_estimator
  • n_estimators
  • oob_score
    • est_bag.oob_score_
Ансамблеві методи в Python

Додаткові параметри для bagging

Додаткові параметри
  • max_samples: кількість вибірок для кожного оцінювача.
  • max_features: кількість ознак для кожного оцінювача.
    • Classification ~ sqrt(number_of_features)
    • Regression ~ number_of_features / 3
  • bootstrap: чи вибірки з поверненням.
    • True --> max_samples = 1.0
    • False --> max_samples < 1.0
Ансамблеві методи в Python

Random forest

Класифікація

from sklearn.ensemble import RandomForestClassifier

clf_rf = RandomForestClassifier(
    # parameters...
)

Регресія

from sklearn.ensemble import RandomForestRegressor

reg_rf = RandomForestRegressor(
    # parameters...
)

Параметри bagging:

  • n_estimators
  • max_features
  • oob_score

Параметри дерев:

  • max_depth
  • min_samples_split
  • min_samples_leaf
  • class_weight ("balanced")
Ансамблеві методи в Python

Компроміс упередження–дисперсія

Компроміс упередження–дисперсія

Ансамблеві методи в Python

Давайте потренуємось!

Ансамблеві методи в Python

Preparing Video For Download...