Thực hành tốt về kiểm định dữ liệu

Quản lý Dữ liệu AI Có Trách Nhiệm

Maria Prokofieva

Lead ML engineer

Nội dung chính

• Phân tích theo nhóm nhỏ
• Thiếu dữ liệu
• Loại bỏ ngoại lệ
• Sửa không nhất quán dữ liệu
• Chuẩn hóa đặc trưng
• Mã hóa đặc trưng
• Giảm chiều dữ liệu

Phân tích theo nhóm nhỏ

Thiếu dữ liệu

• Phổ biến trong bộ dữ liệu lớn
• Xóa dữ liệu
• Bù khuyết và phương pháp dựa trên mô hình
• Phân tích theo nhóm nhỏ để kiểm định

Loại bỏ ngoại lệ

• Phương pháp thống kê như z-score, IQR, hoặc chuẩn hóa vững
• Xác thực đối xử công bằng giữa các phân đoạn dữ liệu

Không nhất quán dữ liệu

• Chất lượng dữ liệu ảnh hưởng tính toàn vẹn và độ tin cậy mô hình
• Chuẩn hóa dữ liệu và quy tắc kiểm định
• Chuẩn hóa theo nhóm nhỏ

Chuẩn hóa đặc trưng

• Chuẩn hóa thang đo đặc trưng đầu vào
• Xác thực bằng cách so sánh phân phối giữa các nhóm

Mã hóa đặc trưng

• Đánh giá tác động mã hóa lên kết quả
• Kiểm tra thiên lệch và mất mát thông tin
• Kiểm tra quá khớp
• Dùng regularization và giảm chiều

Giảm chiều dữ liệu

• Giảm số đặc trưng, giữ thông tin cốt lõi
• Có thể tạo thiên lệch
• Dùng kỹ thuật chú trọng công bằng như t-SNE

Cố vấn tài chính

• Đặc trưng “Thu nhập hằng năm” và “Tần suất đầu tư”
• Điều chỉnh ngoại lệ và chuẩn hóa thang đo
• Phân tích theo nhóm nhỏ

Hãy luyện tập!

Quản lý Dữ liệu AI Có Trách Nhiệm