Xác thực dữ liệu

Quản lý Dữ liệu AI Có Trách Nhiệm

Maria Prokofieva

Lead ML engineer

Nội dung sẽ học

  • Xác thực dữ liệu
  • Các chiều trách nhiệm
  • Cố vấn tài chính AI

xác thực

Quản lý Dữ liệu AI Có Trách Nhiệm

Xác thực dữ liệu

  • Cách tiếp cận chi tiết hơn
  • Kiểm tra tính toàn vẹn kỹ thuật
  • Kiểm tra công bằng

xác thực dữ liệu

Quản lý Dữ liệu AI Có Trách Nhiệm

Tính toàn vẹn kỹ thuật

  • Dữ liệu đầy đủ
  • Không trùng lặp, lỗi hoặc lỗi thời
  • Tuân thủ pháp lý
  • Kiểm tra độ chính xác, nhất quán, đầy đủ, kịp thời

Các chiều dữ liệu có trách nhiệm

Quản lý Dữ liệu AI Có Trách Nhiệm

Cố vấn tài chính: tính toàn vẹn kỹ thuật

  • Sai khác và bất thường trong dữ liệu
  • Trường gán sai
  • Phát hiện và sửa sớm

ví dụ phân loại sai

Quản lý Dữ liệu AI Có Trách Nhiệm

Cố vấn tài chính: tính toàn vẹn kỹ thuật

  • Bất thường về thời kỳ và phương pháp thu thập
  • Chênh lệch kinh tế vùng miền
  • Chưa tối ưu cho mọi nhóm người dùng

bất thường trong phương pháp thu thập dữ liệu

Quản lý Dữ liệu AI Có Trách Nhiệm

Đánh giá công bằng

  • Cơ hội bình đẳng
  • Tác động chênh lệch
  • Cân bằng theo nhân khẩu học
  • Áp dụng cho mọi giai đoạn dự án

 

Cố vấn tài chính:

  • Mọi người đều nhận tư vấn phù hợp và hữu ích
  • Khuyến nghị thống nhất giữa các nhóm nhân khẩu
  • Không nhóm nào bị ảnh hưởng quá mức
Quản lý Dữ liệu AI Có Trách Nhiệm

Cách tiếp cận xác thực dữ liệu

  • Xác định biến chính
  • Phân tích phân phối dữ liệu
  • Làm sạch và kiểm định thống kê
  • Cân bằng dữ liệu
  • Kiểm tra chỉ số công bằng
  • Thử nghiệm mô hình với tập đa dạng
Quản lý Dữ liệu AI Có Trách Nhiệm

Cố vấn tài chính

logo cố vấn

  • Loại ngoại lệ, bù giá trị thiếu
  • Xác thực bằng thống kê mô tả trước/sau
  • Lấy mẫu tăng cho nhóm thu nhập thấp
  • Kiểm tra hiệu năng và chỉ số công bằng
  • Cross-validation có phân tầng
  • Kiểm thử trên dữ liệu “chưa thấy”
Quản lý Dữ liệu AI Có Trách Nhiệm

Ayo berlatih!

Quản lý Dữ liệu AI Có Trách Nhiệm

Preparing Video For Download...