Giảm thiểu thiên lệch khi thu thập dữ liệu

Chinh phục thiên lệch dữ liệu

Konstantinos Kattidis

Data Analytics Lead

Nhận diện thiên lệch khi thu thập dữ liệu

• Thiên lệch chọn mẫu, thiên lệch lịch sử và thiên lệch đo lường
• Hiểu các thiên lệch này tạo sự nhận thức, giúp chuyên gia dữ liệu chủ động nhận diện và xử lý

• Phân tích độ nhạy kiểm tra tác động của giả định khác nhau, phân nhóm thay thế hoặc chiến lược trọng số đến kết quả
• Thẩm định bên ngoài so sánh dữ liệu với nguồn độc lập để kiểm tra tính nhất quán và chính xác

Lấy mẫu ngẫu nhiên và phân tầng

• Chọn kỹ thuật lấy mẫu phù hợp là quan trọng
• Lấy mẫu ngẫu nhiên: chọn cá thể hoặc điểm dữ liệu ngẫu nhiên từ quần thể
• Lấy mẫu phân tầng: chia quần thể thành các nhóm con rồi chọn mẫu từ mỗi nhóm

Cân bằng đại diện nhóm con

• Oversampling: cố ý tăng đại diện của một số nhóm/lớp để cân bằng phân bố
• Undersampling: giảm đại diện của nhóm bị thừa để cân bằng bộ dữ liệu
• Gán trọng số: áp trọng số khác nhau theo mức quan trọng, bù cho mất cân bằng phân bố mẫu

Bổ sung dữ liệu (Data augmentation)

• Để xử lý thiên lệch lịch sử, kỹ thuật này làm giàu bộ dữ liệu bằng điểm dữ liệu bổ sung
• Mục tiêu: bao phủ các giai đoạn hoặc sự kiện ít được đại diện
• Bao gồm:
  • Lấp đầy khoảng trống dữ liệu
  • Đa dạng hóa góc nhìn
  • Cập nhật và sửa lỗi

Thực hành đo lường dữ liệu

• Chuẩn hóa công cụ và quy trình đo lường
• Đào tạo và hiệu chuẩn người thu thập dữ liệu
• Thử nghiệm thí điểm để đánh giá độ chính xác và nhất quán của quy trình
• Rà soát đảm bảo chất lượng định kỳ và tự động hóa để nâng cao chất lượng dữ liệu

Giám sát và điều chỉnh liên tục

• Giám sát liên tục và điều chỉnh kịp thời để xử lý thiên lệch mới phát sinh
• Rà soát định kỳ các chỉ số chất lượng dữ liệu
• Đánh giá thiên lệch
• Cho phép phát hiện thiên lệch ngay lập tức

Ayo berlatih!

Chinh phục thiên lệch dữ liệu