CART के hyperparameters ट्यून करना

Python में Tree-Based Models के साथ Machine Learning

Elie Kawerk

Data Scientist

Hyperparameters

Machine learning मॉडल:

parameters: डेटा से सीखे जाते हैं
- CART उदाहरण: किसी नोड का split-point, किसी नोड का split-feature, ...
hyperparameters: डेटा से नहीं सीखे जाते, ट्रेनिंग से पहले सेट होते हैं
- CART उदाहरण: max_depth, min_samples_leaf, splitting criterion ...

What is hyperparameter tuning?

समस्या: लर्निंग एल्गोरिदम के लिए सर्वोत्तम hyperparameters का सेट खोजना।
समाधान: ऐसा hyperparameters सेट ढूँढ़ें जो सर्वोत्तम मॉडल दे।
सर्वोत्तम मॉडल: सर्वोत्तम score देता है।
Score: sklearn में डिफॉल्ट है accuracy (classification) और $R^2$ (regression)।
जनरलाइज़ेशन परफॉर्मेंस आँकने के लिए cross validation उपयोग होती है।

Why tune hyperparameters?

In sklearn, a model's default hyperparameters are not optimal for all problems.
Hyperparameters should be tuned to obtain the best model performance.

Hyperparameter tuning के तरीके

Grid Search
Random Search
Bayesian Optimization
Genetic Algorithms
....

Grid search cross validation

डिस्क्रीट hyperparameter वैल्यूज़ का एक ग्रिड मैन्युअली सेट करें।
मॉडल परफॉर्मेंस स्कोर करने का एक metric सेट करें।
ग्रिड में exhaustive सर्च चलाएँ।
हर hyperparameters सेट पर मॉडल का CV स्कोर आँकें।
सर्वोत्तम hyperparameters वही हैं जिनसे सर्वश्रेष्ठ CV स्कोर मिलता है।

Grid search cross validation: उदाहरण

Hyperparameters ग्रिड्स:
- max_depth = {2,3,4},
- min_samples_leaf = {0.05, 0.1}
hyperparameter space = { (2,0.05) , (2,0.1) , (3,0.05), ... }
CV scores = { $score_{(2,0.05)}$ , ... }
optimal hyperparameters = वे hyperparameters जिनसे सबसे अच्छा CV स्कोर मिले।

sklearn में CART के hyperparameters देखना

# Import DecisionTreeClassifier
from sklearn.tree import DecisionTreeClassifier

# Set seed to 1 for reproducibility
SEED = 1

# Instantiate a DecisionTreeClassifier 'dt'
dt = DecisionTreeClassifier(random_state=SEED)

sklearn में CART के hyperparameters देखना

# Print out 'dt's hyperparameters
print(dt.get_params())

        {'class_weight': None,
         'criterion': 'gini',
         'max_depth': None,
         'max_features': None,
         'max_leaf_nodes': None,
         'min_impurity_decrease': 0.0,
         'min_impurity_split': None,
         'min_samples_leaf': 1,
         'min_samples_split': 2,
         'min_weight_fraction_leaf': 0.0,
         'presort': False,
         'random_state': 1,
         'splitter': 'best'}

# Import GridSearchCV
from sklearn.model_selection import GridSearchCV

# Define the grid of hyperparameters 'params_dt'
params_dt = {
             'max_depth': [3, 4,5, 6],
             'min_samples_leaf': [0.04, 0.06, 0.08],
             'max_features': [0.2, 0.4,0.6, 0.8]
            }

# Instantiate a 10-fold CV grid search object 'grid_dt'
grid_dt = GridSearchCV(estimator=dt, 
                       param_grid=params_dt,
                       scoring='accuracy',                       
                       cv=10,
                       n_jobs=-1)

# Fit 'grid_dt' to the training data
grid_dt.fit(X_train, y_train)

सर्वोत्तम hyperparameters निकालना

# Extract best hyperparameters from 'grid_dt'
best_hyperparams = grid_dt.best_params_
print('Best hyerparameters:\n', best_hyperparams)

Best hyerparameters:
  {'max_depth': 3, 'max_features': 0.4, 'min_samples_leaf': 0.06}

# Extract best CV score from 'grid_dt'
best_CV_score = grid_dt.best_score_
print('Best CV accuracy'.format(best_CV_score))

Best CV accuracy: 0.938

सर्वोत्तम estimator निकालना

# Extract best model from 'grid_dt'
best_model = grid_dt.best_estimator_


# Evaluate test set accuracy
test_acc = best_model.score(X_test,y_test)

# Print test set accuracy
print("Test set accuracy of best model: {:.3f}".format(test_acc))

Test set accuracy of best model: 0.947

अभ्यास करते हैं!

Python में Tree-Based Models के साथ Machine Learning