Modellgeneralisering: bootstrapping och korsvalidering

Öva på maskininlärningsintervjufrågor i Python

Lisa Stuart

Data Scientist

Kapitel 4 – översikt

Bootstrapping/korsvalidering --> modellgeneralisering
Obalanserade klasser
Korrelerade särdrag
Val av ensemblemodell

Modellgeneralisering

En ML-modells förmåga att prestera väl på osedd data
- testdatamängd
- framtida data
Träningsmetrik $\approx$ testmetrik
Överanpassade modeller generaliserar inte

Beslutsträd

Beslutsträdsplot

¹ https://medium.com/@rnbrown/creating-and-visualizing-decision-trees-with-python-f8e8fa394176

Noder i beslutsträd

Rotnod i beslutsträd

Fördelar och nackdelar

Beslutsträdsplot

Fördelar:
- Lätt att förstå
- Lätt att visualisera
Nackdelar:
- Överanpassas lätt
- Anses girig
- Snedvrids vid klassimbalans

Random Forest

¹ https://www.researchgate.net/figure/Random-Forest-visualization_fig11_326560291

K-fold korsvalidering

¹ https://scikit-learn.org/stable/modules/cross_validation.html

Funktioner

# decision tree
`sklearn.tree.DecisionTreeClassifier` 

# random forest 
`sklearn.ensemble.RandomForestClassifier`

# cross-validated grid search
`sklearn.model_selection.GridSearchCV` 

# model accuracy
`sklearn.metrics.accuracy_score`

# train/test split function
`sklearn.model_selection.train_test_split`

# Parameters that gave best results
`cross-val_model.best_params_`

# Mean cross-validated score of 
# estimator with best params 
`cross-val_model.best_score_`

GridSearchCV vs RandomSearchCV

Grid search

Nu kör vi en övning!

Öva på maskininlärningsintervjufrågor i Python