Tích hợp dữ liệu

Quản lý Dữ liệu AI Có Trách Nhiệm

Maria Prokofieva

Lead ML engineer

Nội dung sẽ học

• Vì sao cần tích hợp
• Lợi ích và thách thức
• Các bước tích hợp dữ liệu

Vì sao có nhiều nguồn?

• Góc nhìn toàn diện, chi tiết
• Lưới an toàn
• Đa dạng dữ liệu và công bằng
• Khả năng giải thích, minh bạch, trách nhiệm giải trình

Cảnh giác với vấn đề

• Làm giảm chất lượng dữ liệu
• Gây bất nhất
• Khuếch đại thiên lệch
• Giảm mức độ đại diện
• Tăng độ phức tạp mô hình
• Giảm minh bạch và khả năng giải thích

¹ Hình ảnh bởi Streamline HQ

Bước 1. Chọn nguồn dữ liệu

• Làm theo các bước đánh giá
• Đánh giá nguồn dữ liệu
• Tập dữ liệu cân bằng và toàn diện hơn

Bước 2. Căn chỉnh kiểu dữ liệu

• Xác định biến chung
• Chuẩn hóa tên và định dạng
• Chuẩn hóa dữ liệu số
• Hợp nhất dữ liệu phân loại
• Căn chỉnh mức độ chi tiết dữ liệu

Bước 3. Cải thiện thiên lệch và mức độ đại diện

• Gán trọng số
  • Kiến thức miền
  • Gán trọng số cho nhóm thiếu/thừa đại diện
• Cân bằng
  • Đại diện đồng đều
  • Lấy mẫu quá mức/thiếu mức
• Kiểm tra thuật toán
• Phân tích khoảng trống

Bước 4. Ghi chép

• Hồ sơ chi tiết:
  • Các bước tích hợp dữ liệu
  • Quyết định đã đưa ra
• Siêu dữ liệu chi tiết:
  • Nguồn dữ liệu
  • Phương pháp thu thập
  • Biến đổi đã áp dụng

Dự án lưu lượng giao thông đô thị

• Chọn nguồn dữ liệu
• Xác định đặc trưng chung
• Phát triển Mô hình Dữ liệu Thống nhất

¹ Hình ảnh bởi Streamline HQ

Dự án lưu lượng giao thông đô thị

• Dùng kỹ thuật thống kê cho thiên lệch và đại diện
• Áp dụng điều chỉnh trọng số
• Phân tích khoảng trống và tái gán trọng số
• Ghi chép

Ayo berlatih!

Quản lý Dữ liệu AI Có Trách Nhiệm