Nguồn dữ liệu

Quản lý Dữ liệu AI Có Trách Nhiệm

Maria Prokofieva

Lead ML engineer

Tiếp theo..

• Loại nguồn dữ liệu
• Hạn chế và lựa chọn
• Tích hợp nhiều nguồn dữ liệu

Vì sao nguồn dữ liệu quan trọng

• Tính toàn vẹn
• Đa dạng
• Đại diện công bằng

¹ Hình ảnh: Streamline HQ

Phân loại theo nguồn gốc

• Sơ cấp

  • Thu thập trong dự án
  • Tuân thủ và đồng thuận

• Thứ cấp

  • Lấy từ nguồn sẵn có
  • Thỏa thuận cấp phép

Phân loại theo bản chất

• Định lượng

  • Dữ liệu số

• Định tính

  • Phi số

• Hỗn hợp

  • Kết hợp số và phi số

¹ Hình ảnh: Streamline HQ

Phân loại theo tính thời gian

• Tĩnh
  • Không đổi theo thời gian
  • Dữ liệu điều tra dân số
  • Địa chỉ doanh nghiệp
• Động
  • Cập nhật thời gian thực
  • Dòng mạng xã hội
  • API
  • Nguồn thị trường tài chính
  • Dữ liệu cảm biến

¹ Hình ảnh: Streamline HQ

Đa dạng và công bằng trong nguồn dữ liệu

• Thiên lệch trực tiếp của người thu thập
• Kiểm tra thiên lệch đo lường được
• Không phản ánh đúng hiện trạng, thiên lệch lỗi thời

• Thiên lệch kế thừa từ bối cảnh gốc
• Phân tích tinh tế
• Liên tục biến đổi, có thể tạo thiên lệch thời gian thực

Dự án dòng chảy giao thông đô thị

Nguồn dữ liệu:

• Dữ liệu giao thông lịch sử
• Biên bản họp hội đồng thành phố
• Dữ liệu định vị GPS

¹ Hình ảnh: Streamline HQ

Dữ liệu giao thông lịch sử

• Sở giao thông của thành phố
• 5 năm gần đây
• Gồm số lượng xe và thời điểm trong ngày/tuần

Đây là nguồn định lượng tĩnh sơ cấp

¹ Hình ảnh: Streamline HQ

Biên bản họp hội đồng

• Hồ sơ công khai trên trang hội đồng
• Tóm tắt quy hoạch đô thị và quản lý giao thông

Đây là nguồn định tính thứ cấp

¹ Hình ảnh: Streamline HQ

Dữ liệu GPS

• Nguồn động sơ cấp
• Cho biết ngay tình trạng, tốc độ, và chậm trễ giao thông hiện tại

¹ Hình ảnh: Streamline HQ

Ayo berlatih!

Quản lý Dữ liệu AI Có Trách Nhiệm