बैगिंग

Python में Tree-Based Models के साथ Machine Learning

Elie Kawerk

Data Scientist

एंसेंबल मेथड्स

वोटिंग क्लासिफायर

वही training set,
$\neq$ एल्गोरिदम।

बैगिंग

एक ही एल्गोरिदम,
training set के $\neq$ सबसेट।

बैगिंग

Bagging: Bootstrap Aggregation.
bootstrap तकनीक का उपयोग करता है।
एंसेंबल में individual मॉडलों का variance घटाता है।

बूटस्ट्रैप

बैगिंग: प्रशिक्षण

बैगिंग प्रशिक्षण

बैगिंग: प्रेडिक्शन

बैगिंग भविष्यवाणी

बैगिंग: क्लासिफिकेशन और रिग्रेशन

क्लासिफिकेशन:

majority voting से predictions को aggregate करता है।
scikit-learn में BaggingClassifier।

रिग्रेशन:

averaging से predictions को aggregate करता है।
scikit-learn में BaggingRegressor।

sklearn में Bagging Classifier (Breast-Cancer डेटासेट)

# Import models and utility functions
from sklearn.ensemble import BaggingClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split

# Set seed for reproducibility
SEED = 1

# Split data into 70% train and 30% test
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3,
                                                    stratify=y,
                                                    random_state=SEED)

# Instantiate a classification-tree 'dt'
dt = DecisionTreeClassifier(max_depth=4, min_samples_leaf=0.16, random_state=SEED)

# Instantiate a BaggingClassifier 'bc'
bc = BaggingClassifier(base_estimator=dt, n_estimators=300, n_jobs=-1)

# Fit 'bc' to the training set
bc.fit(X_train, y_train)
# Predict test set labels
y_pred = bc.predict(X_test)

# Evaluate and print test-set accuracy
accuracy = accuracy_score(y_test, y_pred)
print('Accuracy of Bagging Classifier: {:.3f}'.format(accuracy))

Accuracy of Bagging Classifier: 0.936

अभ्यास करते हैं!

Python में Tree-Based Models के साथ Machine Learning