ग्रेडिएंट बूस्टिंग

Python में Ensemble Methods

Román de las Heras

Data Scientist, Appodeal

ग्रेडिएंट बूस्टिंग मशीन का परिचय

फंक्शन उद्देश्य

प्रारंभिक मॉडल (कमज़ोर एस्टिमेटर): $y\sim f_1(X)$
नया मॉडल रेजिडुअल्स पर फिट होता है: $y-f_1(X)\sim f_2(X)$
नया ऐडिटिव मॉडल: $y\sim f_1(X)+f_2(X)$
इसे $n$ बार दोहराएँ या जब तक त्रुटि काफ़ी छोटी न हो जाए
अंतिम ऐडिटिव मॉडल: $$y\sim f_1(X)+f_2(X)+ ... +f_n(x)=\sum_{i=1}^{n} f_i(X)$$

ग्रेडिएंट डीसेंट से समतुल्यता

फंक्शन रेजिडुअल्स

ग्रेडिएंट डीसेंट:

लॉस फंक्शन

ग्रेडिएंट

रेजिडुअल्स = नेगेटिव ग्रेडिएंट

नेगेटिव ग्रेडिएंट

ग्रेडिएंट बूस्टिंग क्लासिफ़ायर

Gradient Boosting Classifier

from sklearn.ensemble import GradientBoostingClassifier

clf_gbm = GradientBoostingClassifier(
   n_estimators=100,
   learning_rate=0.1,
   max_depth=3,
   min_samples_split,
   min_samples_leaf,
   max_features
)

n_estimators
- डिफॉल्ट: 100
learning_rate
- डिफॉल्ट: 0.1
max_depth
- डिफॉल्ट: 3
min_samples_split
min_samples_leaf
max_features

ग्रेडिएंट बूस्टिंग रिग्रेसर

Gradient Boosting Regressor

from sklearn.ensemble import GradientBoostingRegressor

reg_gbm = GradientBoostingRegressor(
   n_estimators=100,
   learning_rate=0.1,
   max_depth=3,
   min_samples_split,
   min_samples_leaf,
   max_features
)

अब बूस्ट करें!

Python में Ensemble Methods