Hạn chế của nguồn dữ liệu

Quản lý Dữ liệu AI Có Trách Nhiệm

Maria Prokofieva

Lead ML Engineer

Nguồn dữ liệu và các hạn chế thường gặp

  • Tuân thủ pháp lý
  • Thiên lệch
  • Phương pháp
  • Vai trò của kiến thức miền
Quản lý Dữ liệu AI Có Trách Nhiệm

Hạn chế về pháp lý và truy cập

  • Hạn chế sử dụng dữ liệu cho một số loại dự án
  • Yêu cầu tuân thủ bổ sung
  • Chi phí cao

 

Tuân thủ dữ liệu

1 Image by Streamline HQ
Quản lý Dữ liệu AI Có Trách Nhiệm

Thiên lệch trong nguồn dữ liệu

  • Lỗi hệ thống
  • Nhận thức sai lệch
  • Kết quả không đồng đều
  • Bất lợi cho một số nhóm
Quản lý Dữ liệu AI Có Trách Nhiệm

Các loại thiên lệch

  • Thiên lệch lịch sử:
    • Mẫu và kết quả không còn phù hợp
  • Thiên lệch chọn lọc:
    • Chọn dữ liệu nào để đưa vào
  • Thiên lệch lấy mẫu
    • Phương pháp dùng để lấy mẫu

Thước đo thiên lệch

1 Image by Streamline HQ
Quản lý Dữ liệu AI Có Trách Nhiệm

Thiên lệch và hạn chế theo nguồn gốc

  • Phạm vi dữ liệu hạn chế
  • Ràng buộc văn hóa và địa lý
  • Giới hạn về phạm vi và tính bao quát

   

Nhóm người

Quản lý Dữ liệu AI Có Trách Nhiệm

Thiên lệch và hạn chế theo phương pháp

  • Lựa chọn phương pháp thu thập dữ liệu
  • Cách tiếp cận lấy mẫu

Bàn tay nhiều màu giơ lên, lòng bàn tay mở

Quản lý Dữ liệu AI Có Trách Nhiệm

Kiến thức miền

  • Hạn chế hoặc thiên lệch ẩn
  • Tham vấn chuyên gia miền sớm
  • Giảm thiểu hạn chế trước khi mô hình hóa
Quản lý Dữ liệu AI Có Trách Nhiệm

Dự án dòng chảy giao thông đô thị

Nguồn dữ liệu:

  • Dữ liệu đếm lưu lượng
  • Biên bản họp hội đồng thành phố
  • Dữ liệu GPS theo dõi

Dự án dòng chảy giao thông đô thị

1 Images by Streamline HQ
Quản lý Dữ liệu AI Có Trách Nhiệm

Dự án dòng chảy giao thông đô thị

Dữ liệu đếm lưu lượng lịch sử:

  • Thiên lệch lịch sử
  • Quy hoạch đô thị trước đây

Dữ liệu biên bản họp:

  • Thiên lệch chọn lọc
  • Đại diện mất cân đối cho một số nhóm cộng đồng

dữ liệu giao thông

1 Images by Streamline HQ
Quản lý Dữ liệu AI Có Trách Nhiệm

Dự án dòng chảy giao thông đô thị

Dữ liệu theo dõi GPS:

  • Thiên lệch lấy mẫu và chọn lọc
  • Có thể không đại diện cho mọi người đi làm

gps

1 Image by Streamline HQ
Quản lý Dữ liệu AI Có Trách Nhiệm

Ayo berlatih!

Quản lý Dữ liệu AI Có Trách Nhiệm

Preparing Video For Download...