Giảm thiểu thiên lệch

Quản lý Dữ liệu AI Có Trách Nhiệm

Maria Prokofieva

Lead ML engineer

Nội dung

• Chiến lược xuyên suốt vòng đời dự án
• Lấy mẫu lại và gán trọng số lại
• Gán nhãn lại và loại bỏ thuộc tính nhạy cảm
• Huấn luyện đối kháng và hiệu chỉnh lại mô hình
• Hành vi người dùng
• Ràng buộc công bằng và chọn thuật toán
• Còn nhiều chiến lược khác

Ôn lại thiên lệch

• Lỗi hoặc định kiến có hệ thống
• Kết quả không công bằng cho nhóm/cá nhân

¹ Hình ảnh bởi Streamline HQ

Thiên lệch trong suốt dự án

• Trong dữ liệu thô
• Trong tiền xử lý
• Trong mô hình hóa
• Sau triển khai

Thiên lệch trong tiền xử lý

• Lấy mẫu lại
• Gán trọng số lại
• Gán nhãn lại
• Loại bỏ thuộc tính nhạy cảm

Chiến lược tiền xử lý

• Lấy mẫu lại:
  • Điều chỉnh phân phối để cân bằng lớp
• Gán trọng số lại:
  • Sửa thiên lệch bằng trọng số lớp, giữ nguyên kích thước dữ liệu
• Gán nhãn lại:
  • Cập nhật nhãn để phản ánh mục tiêu chính xác
• Loại bỏ thuộc tính nhạy cảm:
  • Loại bỏ thuộc tính được bảo vệ

Thiên lệch trong mô hình hóa

• Thiên lệch từ thuật toán
• Huấn luyện đối kháng
• Ràng buộc công bằng
• Chọn thuật toán: mô hình đơn giản, vững, tổng quát tốt

Cố vấn tài chính

• Thiên lệch do chênh lệch kinh tế vùng miền
• Huấn luyện đối kháng để sửa thiên lệch
• Cây quyết định và mô hình tuyến tính có điều chuẩn

¹ Hình ảnh bởi Streamline HQ

Thiên lệch sau triển khai và khi sử dụng

• Giám sát thiên lệch để tránh trôi dạt mô hình
• Hiệu chỉnh lại mô hình
• Sử dụng ứng dụng sai cách

¹ Hình ảnh bởi Streamline HQ

Cố vấn tài chính

Trôi dạt mô hình:

• Kinh tế tự do (freelance) bị đại diện thiếu

Dùng sai:

• Cập nhật thông tin tài chính

¹ Hình ảnh bởi Streamline HQ

Ayo berlatih!

Quản lý Dữ liệu AI Có Trách Nhiệm