モデルの汎化：ブートストラップと交差検証

Pythonで学ぶMachine Learning面接対策

Lisa Stuart

Data Scientist

第4章の概要

ブートストラップ/交差検証 → モデル汎化
クラス不均衡
特徴量の相関
アンサンブルのモデル選択

モデルの汎化

未知データで良好に動作する ML モデルの能力
- テストデータ
- 将来データ
学習指標 ≈ テスト指標
過学習モデルは汎化しない

決定木

決定木のプロット

¹ https://medium.com/@rnbrown/creating-and-visualizing-decision-trees-with-python-f8e8fa394176

決定木のノード

決定木の根ノード

長所と短所

決定木のプロット

長所:
- 理解しやすい
- 可視化しやすい
短所:
- 過学習しやすい
- 貪欲法的
- クラス不均衡で偏りやすい

ランダムフォレスト

¹ https://www.researchgate.net/figure/Random-Forest-visualization_fig11_326560291

K分割交差検証

¹ https://scikit-learn.org/stable/modules/cross_validation.html

関数

# decision tree
`sklearn.tree.DecisionTreeClassifier` 

# random forest 
`sklearn.ensemble.RandomForestClassifier`

# cross-validated grid search
`sklearn.model_selection.GridSearchCV` 

# model accuracy
`sklearn.metrics.accuracy_score`

# train/test split function
`sklearn.model_selection.train_test_split`

# Parameters that gave best results
`cross-val_model.best_params_`

# Mean cross-validated score of 
# estimator with best params 
`cross-val_model.best_score_`

GridSearchCV と RandomSearchCV

グリッドサーチ

演習に進みましょう！

Pythonで学ぶMachine Learning面接対策