Giá trị ngoại lai và chuẩn hóa

Luyện tập câu hỏi phỏng vấn Machine Learning bằng Python

Lisa Stuart

Data Scientist

Giá trị ngoại lai (Outliers)

Giá trị ngoại lai

¹ https://bolt.mph.ufl.edu/6050-6052/unit-1/one-quantitative-variable-introduction/understanding-outliers/

IQR dữ liệu

¹ By Jhguch at en.wikipedia, CC BY-SA 2.5, https://commons.wikimedia.org/w/index.php?curid=14524285

Đường hồi quy tốt nhất

¹ https://www.r-bloggers.com/outlier-detection-and-treatment-with-r/

Hàm	trả về
`sns.boxplot(x= , y='Loan Status')`	boxplot theo biến mục tiêu
`sns.distplot()`	biểu đồ tần suất và KDE
`np.abs()`	giá trị tuyệt đối
`stats.zscore()`	z-score đã tính
`mstats.winsorize(limits=[0.05, 0.05])`	chặn đáy/đỉnh cho ngoại lai
`np.where(condition, true, false)`	thay thế giá trị

Phương sai

¹ https://machinelearningmastery.com/a-gentle-introduction-to-calculating-normal-summary-statistics/

Công thức chuẩn hóa z-score

Công thức thu nhỏ min-max

¹ https://medium.com/@rrfd/standardize-or-normalize-examples-in-python-e3f174b65dfc

Xác định và xử lý ngoại lai thế nào? Chuẩn hóa min/max hoặc z-score ảnh hưởng gì lên dữ liệu? Chọn phát biểu đúng:

Ngoại lai là điểm chỉ hơi nằm ngoài phạm vi các điểm tương tự trong một đặc trưng.
Trong bối cảnh phù hợp, ngoại lai bất thường hữu ích cho mô hình ML dự đoán.
Thu nhỏ min/max cho mean 0, SD 1 và tăng phương sai.
Chuẩn hóa z-score đưa dữ liệu về (0,1) và cải thiện độ khớp mô hình.

Xác định và xử lý ngoại lai thế nào? Chuẩn hóa min/max hoặc z-score ảnh hưởng gì lên dữ liệu? Đáp án đúng là:

Trong bối cảnh phù hợp, ngoại lai bất thường hữu ích cho mô hình ML dự đoán. (Ngoại lệ thường gặp trong phát hiện gian lận, an ninh mạng, và các tình huống cần tìm chúng.)

Xác định và xử lý ngoại lai thế nào? Chuẩn hóa min/max hoặc z-score ảnh hưởng gì lên dữ liệu?

Ngoại lai chỉ hơi ngoài phạm vi các điểm tương tự. (Chỉ nghi ngoại lai khi vượt quá 1,5 lần IQR.)
Thu nhỏ min/max cho mean 0, SD 1 và tăng phương sai. (Min/max đưa dữ liệu về (0,1); phương sai tăng hay giảm tùy dữ liệu gốc.)
Chuẩn hóa z-score đưa dữ liệu về (0,1) và cải thiện mô hình. (Z-score đưa mean 0, sd 1; có thể cải thiện mô hình.)

Các bước tiền xử lý

Luyện tập câu hỏi phỏng vấn Machine Learning bằng Python