Importanța caracteristicilor și gradient boosting

Machine Learning pentru finanțe în Python

Nathan George

Data Science Professor

împărțire după ziua săptămânii

Machine Learning pentru finanțe în Python

împărțire SMA 200 zile

Machine Learning pentru finanțe în Python

Extragerea importanței caracteristicilor

from sklearn.ensemble import RandomForestRegressor

random_forest = RandomForestRegressor()
random_forest.fit(train_features, train_targets)

feature_importances = random_forest.feature_importances_

print(feature_importances)

[0.07586547 0.10697602 0.12215955 0.23969227 0.29010304 0.0314028
 0.11977058 0.00276721 0.00246329 0.0026431  0.00615667]
Machine Learning pentru finanțe în Python

Sortare și vizualizare

# feature importances from random forest model
importances = random_forest.feature_importances_

# index of greatest to least feature importances
sorted_index = np.argsort(importances)[::-1]

x = range(len(importances))
# create tick labels
labels = np.array(feature_names)[sorted_index]

plt.bar(x, importances[sorted_index], tick_label=labels)

# rotate tick labels to vertical
plt.xticks(rotation=90)
plt.show()
Machine Learning pentru finanțe în Python

grafic importanța caracteristicilor

Machine Learning pentru finanțe în Python

Modele liniare vs. gradient boosting

camry vs elicopter

https://blog.kaggle.com/2017/01/23/a-kaggle-master-explains-gradient-boosting/

Machine Learning pentru finanțe în Python

diagramă boosting

Machine Learning pentru finanțe în Python

Modele boosted

Modele boosted disponibile:

  • Gradient boosting
  • Adaboost
Machine Learning pentru finanțe în Python

Antrenarea unui model gradient boosting

from sklearn.ensemble import GradientBoostingRegressor

gbr = GradientBoostingRegressor(max_features=4,
                                learning_rate=0.01,
                                n_estimators=200,
                                subsample=0.6,
                                random_state=42)

gbr.fit(train_features, train_targets)
Machine Learning pentru finanțe în Python

Treceți la nivelul următor!

Machine Learning pentru finanțe în Python

Preparing Video For Download...