Xử lý dữ liệu khuyết
Luyện tập câu hỏi phỏng vấn Machine Learning bằng Python
Lisa Stuart
Data Scientist
Yêu cầu tiên quyết
Đề cương khóa học
- Chương 1: Tiền xử lý và Trực quan hóa
- Dữ liệu thiếu, ngoại lệ, chuẩn hóa
- Chương 2: Học có giám sát
- Chọn đặc trưng, điều chuẩn, kỹ thuật đặc trưng
- Chương 3: Học không giám sát
- Chọn thuật toán phân cụm, trích xuất đặc trưng, giảm chiều
- Chương 4: Chọn và đánh giá mô hình
- Khái quát hóa và đánh giá mô hình, chọn mô hình
Pipeline Machine learning (ML)
Pipeline ML của chúng ta
Dữ liệu thiếu
- Ảnh hưởng của các kỹ thuật
- Tìm giá trị thiếu
- Chiến lược xử lý
Kỹ thuật
- Loại bỏ
- Xóa hàng -->
.dropna(axis=0) - Xóa cột -->
.dropna(axis=1)
- Xóa hàng -->
- Điền khuyết
- Điền 0 -->
SimpleImputer(strategy='constant', fill_value=0) - Điền trung bình ->
SimpleImputer(strategy='mean') - Điền trung vị -->
SimpleImputer(strategy='median') - Điền mode -->
SimpleImputer(strategy='most_frequent') - Điền lặp -->
IterativeImputer()
- Điền 0 -->
Vì sao cần xử lý?
- Giảm nguy cơ tạo sai lệch
- Hầu hết thuật toán ML cần dữ liệu đầy đủ
Ảnh hưởng của điền khuyết
- Phụ thuộc vào:
- Mức độ thiếu dữ liệu
- Phương sai gốc
- Ngoại lệ (outlier)
- Độ lệch và hướng lệch
- Loại bỏ --> Có thể mất quá nhiều
- Điền 0 --> Làm lệch kết quả xuống thấp
- Trung bình --> Nhạy với ngoại lệ hơn
- Trung vị --> Tốt hơn khi có ngoại lệ
- Mode và điền lặp --> Nên thử
| Hàm | trả về |
|---|---|
df.isna().sum() |
số lượng thiếu |
df['feature'].mean() |
trung bình đặc trưng |
.shape |
kích thước (hàng, cột) |
df.columns |
tên cột |
.fillna(0) |
điền thiếu bằng 0 |
select_dtypes(include = [np.number] ) |
cột số |
select_dtypes(include = ['object'] ) |
cột chuỗi |
.fit_transform(numeric_cols) |
fit và transform |
Ảnh hưởng của dữ liệu thiếu
Thiếu dữ liệu ảnh hưởng thế nào trong bối cảnh Machine Learning (ML)? Chọn phương án đúng:
- Thiếu dữ liệu không vấn đề vì đa số thuật toán
sklearnxử lý được. - Xóa quan sát hoặc đặc trưng có dữ liệu thiếu thường là ý hay.
- Thiếu dữ liệu thường gây sai lệch, dẫn đến kết quả sai, nên không thể bỏ qua.
- Điền thiếu bằng 0 sẽ làm lệch kết quả lên cao.
Ảnh hưởng của dữ liệu thiếu: đáp án
Thiếu dữ liệu ảnh hưởng thế nào trong bối cảnh Machine Learning (ML)? Đáp án đúng là:
- Thiếu dữ liệu thường gây sai lệch, dẫn đến kết quả sai, nên không thể bỏ qua. (Hãy thử các cách điền và chọn cách làm ảnh hưởng phương sai ít nhất.)
Ảnh hưởng của dữ liệu thiếu: đáp án sai
Thiếu dữ liệu ảnh hưởng thế nào trong bối cảnh Machine Learning (ML)?
- Thiếu dữ liệu không vấn đề... (Đa số thuật toán
sklearnkhông xử lý được thiếu dữ liệu và sẽ báo lỗi.) - Xóa quan sát hoặc đặc trưng có dữ liệu thiếu... (Trừ khi dữ liệu rất lớn và tỷ lệ thiếu nhỏ, xóa hàng/cột thường làm tập dữ liệu co lại quá mức, gây khó cho ML.)
- Điền thiếu bằng 0 sẽ làm lệch kết quả lên cao. (Ngược lại, điền 0 làm lệch xuống thấp.)
Ayo berlatih!
Luyện tập câu hỏi phỏng vấn Machine Learning bằng Python
