Khái quát hóa mô hình: bootstrapping và cross-validation

Luyện tập câu hỏi phỏng vấn Machine Learning bằng Python

Lisa Stuart

Data Scientist

Tổng quan Chương 4

Bootstrapping/cross-validation --> khái quát hóa mô hình
Mất cân bằng lớp
Tương quan đặc trưng
Chọn mô hình ensemble

Khái quát hóa mô hình

Khả năng mô hình ML hoạt động tốt trên dữ liệu chưa thấy
- tập kiểm tra
- dữ liệu tương lai
Chỉ số train ≈ chỉ số test
Mô hình overfit không khái quát hóa

Cây quyết định

Biểu đồ cây quyết định

¹ https://medium.com/@rnbrown/creating-and-visualizing-decision-trees-with-python-f8e8fa394176

Các nút của cây quyết định

Nút gốc cây quyết định

Ưu và nhược điểm

Biểu đồ cây quyết định

Ưu điểm:
- Dễ hiểu
- Dễ trực quan hóa
Nhược điểm:
- Dễ overfit
- Tính tham lam (greedy)
- Thiên lệch khi mất cân bằng lớp

Random Forest

Rừng ngẫu nhiên

¹ https://www.researchgate.net/figure/Random-Forest-visualization_fig11_326560291

Cross-validation K-fold

¹ https://scikit-learn.org/stable/modules/cross_validation.html

Hàm

# decision tree
`sklearn.tree.DecisionTreeClassifier` 

# random forest 
`sklearn.ensemble.RandomForestClassifier`

# cross-validated grid search
`sklearn.model_selection.GridSearchCV` 

# model accuracy
`sklearn.metrics.accuracy_score`

# train/test split function
`sklearn.model_selection.train_test_split`

# Parameters that gave best results
`cross-val_model.best_params_`

# Mean cross-validated score of 
# estimator with best params 
`cross-val_model.best_score_`

GridSearchCV vs RandomSearchCV

Grid search

Ayo berlatih!

Luyện tập câu hỏi phỏng vấn Machine Learning bằng Python