Thiếu dữ liệu và nội suy

Giới thiệu Python trong Power BI

Jacob H. Marquez

Data Scientist

Dữ liệu thiếu là gì?

Giá trị thường dùng cho "thiếu":

• null
• NA
• 99
• ""

Dữ liệu thiếu là gì?

Giá trị thường dùng cho "thiếu":

• null
• NA
• 99
• ""

entity	year	fished
Australia	1988	153148
Australia	1989	null
Australia	1990	567895
Australia	1991	632987
Australia	1992	643578
Australia	1993	null

Vì sao dữ liệu bị thiếu?

• Người tham gia quên hoặc từ chối trả lời khảo sát
• Người tham gia bỏ dở phần hai của nghiên cứu
• Lỗi công cụ đo đạc
• Luật riêng tư hạn chế việc dùng dữ liệu

Có thiếu ngẫu nhiên không?

Thiếu ngẫu nhiên

Có thiếu ngẫu nhiên không?

Thiếu không ngẫu nhiên

Có thiếu ngẫu nhiên không?

Thiếu không ngẫu nhiên

• Thiết bị không đo được giá trị thấp
• Một số nhóm ít tiết lộ thông tin

Xử lý dữ liệu thiếu như thế nào?

Thiếu không ngẫu nhiên

• Tạm dừng phân tích
• Hiểu nguyên nhân thiếu dữ liệu
• Thu thập thêm dữ liệu
• Ghi rõ hạn chế và giả định

Thiếu ngẫu nhiên

• Xóa quan sát
• Thêm biến chỉ báo thiếu: 1 nếu thiếu, 0 nếu không
• Nội suy

Nội suy (Imputation)

Định nghĩa: thay giá trị thiếu bằng giá trị khác.

Các kiểu nội suy:

• Trung bình
• Trung vị
• Mode
• Giá trị trước hoặc sau

Tốt nhất khi thiếu ≤5% dữ liệu của cột.

Nhớ sắp xếp giá trị!

Nội suy - Ví dụ

Thiếu ngẫu nhiên

Nội suy bằng trung vị

Bộ dữ liệu

Hóa đơn	StockCode	Mô tả	Số lượng	InvoiceDate	Giá	Customer ID
506303	PADS	PADS TO MATCH ALL CUSHIONS	1	4/29/2010 10:43:00 AM	0.001	14249
496725	M	Manual	1	2/3/2010 2:16:00 PM	1.5	13619
502660	M	Manual	6	3/25/2010 5:18:00 PM	1.5	13187
509669	90214S	LETTER "S" BLING KEY RING	10	12/13/2009 3:54:00 PM	1.25	16725

Ayo berlatih!

Giới thiệu Python trong Power BI