Importances des variables et gradient boosting

Machine Learning pour la finance en Python

Nathan George

Data Science Professor

découpage par jour de la semaine

découpage selon la SMA 200 jours

Extraire les importances des variables

from sklearn.ensemble import RandomForestRegressor

random_forest = RandomForestRegressor()
random_forest.fit(train_features, train_targets)

feature_importances = random_forest.feature_importances_

print(feature_importances)

[0.07586547 0.10697602 0.12215955 0.23969227 0.29010304 0.0314028
 0.11977058 0.00276721 0.00246329 0.0026431  0.00615667]

Trier et tracer

# feature importances from random forest model
importances = random_forest.feature_importances_

# index of greatest to least feature importances
sorted_index = np.argsort(importances)[::-1]

x = range(len(importances))
# create tick labels
labels = np.array(feature_names)[sorted_index]

plt.bar(x, importances[sorted_index], tick_label=labels)

# rotate tick labels to vertical
plt.xticks(rotation=90)
plt.show()

graphique des importances des variables

Modèles linéaires vs gradient boosting

camry vs hélicoptère

https://blog.kaggle.com/2017/01/23/a-kaggle-master-explains-gradient-boosting/

schéma du boosting

Modèles « boosted »

Modèles « boosted » offerts :

Gradient boosting
Adaboost

Ajuster un modèle de gradient boosting

from sklearn.ensemble import GradientBoostingRegressor

gbr = GradientBoostingRegressor(max_features=4,
                                learning_rate=0.01,
                                n_estimators=200,
                                subsample=0.6,
                                random_state=42)

gbr.fit(train_features, train_targets)

Passez au boosting !

Machine Learning pour la finance en Python