Phân tích dữ liệu khám phá (EDA) là gì?

Phân tích Khám phá Dữ liệu trong Power BI

Jacob H. Marquez

Data Scientist at Microsoft

Phân tích dữ liệu khám phá (EDA) là gì?

"Một cách tiếp cận để phân tích tập dữ liệu nhằm tóm tắt các đặc trưng chính của chúng, thường dùng đồ thị thống kê và các phương pháp trực quan hóa dữ liệu khác."

¹ https://en.wikipedia.org/wiki/Exploratory_data_analysis

Sáu bước EDA

Hiểu cấu trúc dữ liệu
Xác định dữ liệu thiếu
Mô tả dữ liệu bằng thống kê mô tả & phân phối
Nhận diện giá trị ngoại lai
Xem xét và định lượng mối quan hệ giữa các biến
Hình thành giả thuyết

Sáu bước EDA

Hiểu cấu trúc dữ liệu
Xác định dữ liệu thiếu
Mô tả dữ liệu bằng thống kê mô tả & phân phối
Nhận diện giá trị ngoại lai
Xem xét và định lượng mối quan hệ giữa các biến
Hình thành giả thuyết

1. Hiểu cấu trúc dữ liệu

Liên tục

Biến số thường có thể nhận vô số giá trị

Số lượng ngôi sao trong vũ trụ
Tỷ lệ nhấp (click-through rate)
Khoảng cách giữa hai thành phố

Phân loại

Biến không số, thường là văn bản, có từ hai nhóm trở lên

Loại nhà
Quốc gia
Công ty

2. Xác định dữ liệu thiếu

Thiếu ngẫu nhiên

Ma trận 9x4 với các nhóm ba hàng cho ba thành phố: Seattle, New York City và Paris. Có các giá trị thể hiện lượng mưa (inch) trong 30 ô và 6 ô trống rải rác ngẫu nhiên trên cả ba nhóm thành phố.

Thiếu không ngẫu nhiên

Ma trận 9x4 với các nhóm ba hàng cho ba thành phố: Seattle, New York City và Paris. Có các giá trị thể hiện lượng mưa (inch) trong 30 ô và 4 ô trống rải rác chỉ ở Seattle.

2. Xử lý dữ liệu thiếu

Cùng ma trận 9x4 nhưng đã loại bỏ hàng trên cùng, biểu thị việc xóa các ô trống khỏi ma trận.

Cùng ma trận 9x4 nhưng hàng trên cùng nay có giá trị, biểu thị việc nội suy các ô trống bằng giá trị trung vị.

3. Mô tả dữ liệu

Giá trị nhỏ nhất
Giá trị lớn nhất
Mean: tổng các giá trị chia cho số quan sát
Median: giá trị ở giữa của một dải giá trị
Độ lệch chuẩn: mức chênh lệch trung bình so với mean của một biến trên toàn bộ điểm dữ liệu

3. Mô tả dữ liệu bằng phân phối

Biểu đồ tần suất chiều cao với chiều cao trên trục x và số quan sát trên trục y.

Median và mean trùng nhau
Đường cong đối xứng

3. Mô tả dữ liệu bằng phân phối

Biểu đồ tần suất thu nhập hộ gia đình với thu nhập trên trục x và số quan sát trên trục y. Biểu đồ rộng bên trái và hẹp dần về bên phải.

Median < Mean
"Lệch phải": đuôi ở bên phải

Biểu đồ tần suất thời gian online với thời lượng trên trục x và số quan sát trên trục y. Biểu đồ hẹp bên trái và rộng dần về bên phải.

Median > Mean
"Lệch trái": đuôi ở bên trái

Bộ dữ liệu: AirBnB listings

Hình ảnh bộ dữ liệu airbnb với năm cột - listing_id, host_id, host_since (cột ngày), city và price.

Cùng luyện tập nào!

Phân tích Khám phá Dữ liệu trong Power BI