Phân phối và giá trị ngoại lai

Phân tích Khám phá Dữ liệu trong Power BI

Jacob H. Marquez

Data Scientist at Microsoft

Phân phối là gì?

Định nghĩa: tập tất cả giá trị có thể của biến và tần suất tương ứng.

Phân phối là gì?

Liên tục

Tuổi	Tần suất
18	7
19	11
20	13
21	19
22	12

Phân phối là gì?

Liên tục

Tuổi	Tần suất
18	7
19	11
20	13
21	19
22	12

Phân loại

Màu tóc	Tần suất
Vàng	30
Nâu	50
Đen	40
Đỏ	20
Xám	20

Histogram là gì?

Biểu đồ tần suất chiều cao với trục x là chiều cao và trục y là số quan sát. Biểu đồ có đuôi hẹp ở hai phía và khối lớn ở giữa.

Histogram là gì? - bins

Histogram với 100 bins

Biểu đồ tần suất chiều cao với trục x là chiều cao và trục y là số quan sát. Với 100 bins, biểu đồ mượt và chi tiết hơn.

Histogram với 20 bins

Biểu đồ tần suất chiều cao với trục x là chiều cao và trục y là số quan sát. Ít bins hơn nên trông cứng và dạng hộp hơn.

Đọc histogram - trung tâm và độ lệch

Biểu đồ tần suất chiều cao với trục x là chiều cao và trục y là số quan sát. Nhiều quan sát tập trung ở giữa và ít dần về hai đầu.

Phân phối chuẩn

Biểu đồ tần suất chiều cao với trục x là chiều cao và trục y là số quan sát. Nhiều quan sát ở bên trái và hẹp dần về phía bên phải.

Phân phối lệch phải

Đọc histogram - độ phân tán

Độ lệch chuẩn lớn hơn

Biểu đồ tần suất chiều cao với trục x là chiều cao và trục y là số quan sát. Nhiều quan sát ở giữa và ít dần về hai đầu.

Độ lệch chuẩn nhỏ hơn

Biểu đồ tần suất chiều cao với trục x là chiều cao và trục y là số quan sát. Hẹp hơn, gần như dạng tháp nhọn do độ lệch chuẩn nhỏ.

Đọc histogram - phân vị

Biểu đồ tần suất chiều cao với trục x là chiều cao và trục y là số quan sát. Vùng tô xanh từ trung tâm về bên trái biểu diễn phân vị thứ 50.

Đọc histogram - phân vị 25 và 75

Biểu đồ tần suất chiều cao với trục x là chiều cao và trục y là số quan sát. Hai vùng tô xanh từ phân vị 25 về bên trái và từ phân vị 75 về bên phải.

Đọc histogram - khoảng tứ phân vị

Biểu đồ tần suất chiều cao với trục x là chiều cao và trục y là số quan sát. Vùng tô xanh từ phân vị 25 đến phân vị 75 biểu diễn khoảng tứ phân vị.

Giá trị ngoại lai là gì?

Biểu đồ tần suất chiều cao với trục x là chiều cao và trục y là số quan sát. Vùng tô xanh ở hai đầu nêu bật các giá trị ngoại lai có thể có.

Tìm giá trị ngoại lai

Dùng độ lệch chuẩn

$lower = -3 * SD$

$upper = 3 * SD$

Ngoại lai khi

$value < lower$ HOẶC $value > upper$

Khoảng tứ phân vị (IQR)

$lower = 25percentile-(1.5 * IQR)$

$upper = 75percentile+(1.5 * IQR)$

Ngoại lai khi

$value < lower$ HOẶC $value > upper$

Xử lý giá trị ngoại lai

Xóa quan sát
Bù giá trị (imputation)

Winsorizing

NẾU value < phân vị thứ 5 THÌ value = phân vị thứ 5

NẾU value > phân vị thứ 95 THÌ value = phân vị thứ 95

Cùng luyện tập nào!

Phân tích Khám phá Dữ liệu trong Power BI