Cơ sở dữ liệu và kiểm tra chất lượng

Giải mã Decision Science

Howard Friedman

Adjunct Professor at Columbia University

Phân loại nguồn dữ liệu

Không phải dữ liệu nào cũng hữu ích như nhau

  • Một số bộ dữ liệu cần làm sạch nhiều hoặc thiếu đặc trưng hữu ích
  • Một số khác không đáng công sức

 

Phân loại (triage) dữ liệu giúp ưu tiên nhanh

  • Đánh giá tính khả thi trước khi đầu tư thời gian và nguồn lực

Bắt đầu từ khả dụng

  • Dữ liệu dễ truy cập hay bị chặn bởi paywall
  • Có rào cản về quyền truy cập hoặc bảo mật không
  • Xử lý sớm để tránh lãng phí công sức

triage.png

Giải mã Decision Science

Kiểm tra chính

Cân nhắc chi phí

  • Có phí giấy phép hoặc truy cập không
  • Có phải trả cho lưu trữ hoặc công cụ chuyên dụng không

Đánh giá tính hữu dụng

  • Bộ dữ liệu có chứa điều bạn cần phân tích không
  • Kiểm tra phạm vi, mức chi tiết, độ đầy đủ, và độ liên quan của đặc trưng

Kiểm tra tần suất cập nhật

  • Dự báo thời gian thực cần dữ liệu thời gian thực hoặc cập nhật thường xuyên
  • Chu kỳ cập nhật lệch có thể làm dữ liệu không dùng được

Đánh giá độ phân giải địa lý

  • Dữ liệu có khớp mức không gian phân tích yêu cầu không
  • Dữ liệu cấp quốc gia không hữu ích nếu cần chi tiết cấp mã ZIP
Giải mã Decision Science

Kiểm tra chất lượng dữ liệu

Chất lượng dữ liệu rất quan trọng

  • Dữ liệu kém có thể làm hỏng mô hình và quyết định
  • "Rác vào, rác ra" là rủi ro thực sự trong khoa học quyết định

GIGO.png

Theo dõi dữ liệu khuyết

  • Tỷ lệ giá trị thiếu theo cột
  • Mẫu hình gợi ý vấn đề sâu hơn trong thu thập dữ liệu

Kiểm tra khoảng giá trị cơ bản

  • Có giá trị nào vô lý trong bối cảnh của bạn không
  • Ví dụ: age = 450 hoặc price = -$10
  • Dùng kiểm tra để gắn cờ vấn đề lớn sớm
Giải mã Decision Science

Các kiểm tra khác

Rà soát ngoại lệ (outlier)

  • Dùng biểu đồ tần suất hoặc boxplot để trực quan hóa
  • Trao đổi với các bên liên quan trước khi loại bỏ

Đánh giá tính kịp thời

  • Dữ liệu có đủ mới để còn liên quan không
  • Bối cảnh biến động nhanh cần dữ liệu cập nhật thường xuyên

Đảm bảo định dạng nhất quán

  • Tìm lỗi định dạng ngày, chính tả, hoặc đặt tên cột không thống nhất
  • Làm sạch và chuẩn hóa để tránh lỗi khi phân tích

QA.png

Giải mã Decision Science

Ayo berlatih!

Giải mã Decision Science

Preparing Video For Download...