피처 중요도와 그래디언트 부스팅

Python으로 배우는 금융 분야 Machine Learning

Nathan George

Data Science Professor

요일 분할

Python으로 배우는 금융 분야 Machine Learning

200일 SMA 분할

Python으로 배우는 금융 분야 Machine Learning

피처 중요도 추출

from sklearn.ensemble import RandomForestRegressor

random_forest = RandomForestRegressor()
random_forest.fit(train_features, train_targets)

feature_importances = random_forest.feature_importances_

print(feature_importances)

[0.07586547 0.10697602 0.12215955 0.23969227 0.29010304 0.0314028
 0.11977058 0.00276721 0.00246329 0.0026431  0.00615667]
Python으로 배우는 금융 분야 Machine Learning

정렬 및 시각화

# feature importances from random forest model
importances = random_forest.feature_importances_

# index of greatest to least feature importances
sorted_index = np.argsort(importances)[::-1]

x = range(len(importances))
# create tick labels
labels = np.array(feature_names)[sorted_index]

plt.bar(x, importances[sorted_index], tick_label=labels)

# rotate tick labels to vertical
plt.xticks(rotation=90)
plt.show()
Python으로 배우는 금융 분야 Machine Learning

피처 중요도 플롯

Python으로 배우는 금융 분야 Machine Learning

선형 모델 vs 그래디언트 부스팅

캠리 vs 헬리콥터

https://blog.kaggle.com/2017/01/23/a-kaggle-master-explains-gradient-boosting/

Python으로 배우는 금융 분야 Machine Learning

부스팅 다이어그램

Python으로 배우는 금융 분야 Machine Learning

부스티드 모델

사용 가능한 부스티드 모델:

  • 그래디언트 부스팅
  • Adaboost
Python으로 배우는 금융 분야 Machine Learning

그래디언트 부스팅 모델 학습

from sklearn.ensemble import GradientBoostingRegressor

gbr = GradientBoostingRegressor(max_features=4,
                                learning_rate=0.01,
                                n_estimators=200,
                                subsample=0.6,
                                random_state=42)

gbr.fit(train_features, train_targets)
Python으로 배우는 금융 분야 Machine Learning

부스팅을 활용해 보세요!

Python으로 배우는 금융 분야 Machine Learning

Preparing Video For Download...