Vì sao cần xử lý dữ liệu khuyết?
Xử lý Dữ liệu Khuyết trong Python
Suraj Donthi
Deep Learning & Computer Vision Consultant
Vì sao có dữ liệu khuyết?
- Dữ liệu thực tế thường lộn xộn
Bạn có biết 72% tổ chức tin rằng chất lượng dữ liệu kém làm giảm niềm tin và cảm nhận của khách hàng?
1 [Top 9 Benefits of Data Cleansing for Businesses](https://bit.ly/2QwMrab)
Vì sao có dữ liệu khuyết?
- Bỏ sót trong thu thập dữ liệu
- Cảm biến thời tiết lỗi khi phân tích thời tiết
- Thông tin bệnh nhân không đầy đủ trong chẩn đoán y khoa, v.v.
- Bị xóa nhầm
- Mất dữ liệu
- Con người xóa nhầm
Trong khóa học này, bạn sẽ học
- tầm quan trọng của xử lý giá trị khuyết
- cách phát hiện giá trị khuyết trong dữ liệu lộn xộn
- phân tích các kiểu thiếu dữ liệu
- xử lý phù hợp cho
- dữ liệu số
- chuỗi thời gian
- dữ liệu phân loại
Trong khóa học này, bạn sẽ học
- nội suy (thay thế) giá trị khuyết bằng kỹ thuật đơn giản
- nội suy bằng kỹ thuật nâng cao
- đánh giá phương pháp xử lý giá trị khuyết tốt nhất
Quy trình xử lý giá trị khuyết
- Chuyển mọi giá trị khuyết thành null.
- Phân tích mức độ và kiểu thiếu dữ liệu.
- Xóa hoặc nội suy giá trị khuyết phù hợp.
- Đánh giá và so sánh hiệu suất của dữ liệu đã xử lý/nội suy.
Toán tử với giá trị NULL
None
None or True # Same for False
True
None + True # For all operators
TypeError: unsupported operand
None / 3 # For all operators
TypeError: unsupported operand
type(None)
NoneType
np.nan
import numpy as np
np.nan or True # Same for False
nan
np.nan * True # For all operators
nan
np.nan - 3 # For all operators
nan
type(np.nan)
float
Toán tử với giá trị NULL
None
None == None
True
np.isnan(None)
False
np.nan
np.nan == np.nan
False
np.isnan(np.nan)
True
Ayo berlatih!
Xử lý Dữ liệu Khuyết trong Python
