Hồi quy: chọn đặc trưng

Luyện tập câu hỏi phỏng vấn Machine Learning bằng Python

Lisa Stuart

Data Scientist

Chọn đặc trưng phù hợp:

• Giảm overfitting
• Cải thiện độ chính xác
• Tăng khả năng giải thích
• Giảm thời gian huấn luyện

¹ https://www.analyticsindiamag.com/what-are-feature-selection-techniques-in-machine-learning/

Các phương pháp chọn đặc trưng

• Lọc: Xếp hạng đặc trưng theo thống kê
• Wrapper: Dùng ML để đánh giá hiệu năng
• Nhúng: Huấn luyện lặp để trích xuất đặc trưng
• Tầm quan trọng đặc trưng: mô hình cây

So sánh các phương pháp

Phương pháp	Dùng mô hình ML	Chọn tập con tốt nhất	Có thể overfit
Lọc	Không	Không	Không
Wrapper	Có	Có	Đôi khi
Nhúng	Có	Có	Có
Tầm quan trọng đặc trưng	Có	Có	Có

Kiểm định hệ số tương quan

Đặc trưng/Đáp ứng	Liên tục	Phân loại
Liên tục	Tương quan Pearson	LDA
Phân loại	ANOVA	Chi-bình phương

Hàm lọc

Hàm	trả về
df.corr()	ma trận tương quan Pearson
sns.heatmap(corr_object)	biểu đồ nhiệt
abs()	giá trị tuyệt đối

Phương pháp wrapper

1. Chọn tiến (LARS-least angle regression)
   • Bắt đầu không có đặc trưng, thêm dần từng cái
2. Loại lùi
   • Bắt đầu với tất cả đặc trưng, loại dần từng cái
3. Kết hợp chọn tiến/loại lùi (loại hai chiều)
4. Loại đặc trưng đệ quy
   • RFECV

Phương pháp nhúng

1. Hồi quy Lasso
2. Hồi quy Ridge
3. ElasticNet

Tầm quan trọng đặc trưng dựa trên cây

• Random Forest --> sklearn.ensemble.RandomForestRegressor
• Extra Trees --> sklearn.ensemble.ExtraTreesRegressor
• Sau khi fit mô hình --> tree_mod.feature_importances_

Hàm	trả về
sklearn.svm.SVR	bộ ước lượng hồi quy vector hỗ trợ
sklearn.feature_selection.RFECV	loại đặc trưng đệ quy kèm cross-val
rfe_mod.support_	mảng boolean của đặc trưng được chọn
ref_mod.ranking_	xếp hạng đặc trưng, chọn=1
sklearn.linear_model.LinearRegression	bộ ước lượng mô hình tuyến tính
sklearn.linear_model.LarsCV	hồi quy góc nhỏ nhất kèm cross-val
LarsCV.score	điểm r-squared
LarsCV.alpha_	tham số điều chuẩn ước lượng

Ayo berlatih!

Luyện tập câu hỏi phỏng vấn Machine Learning bằng Python