Các vấn đề dữ liệu phổ biến

Nhập môn Năng lực Dữ liệu

Jess Ahmet

Content Developer, DataCamp

Dữ liệu bẩn

  • Dữ liệu bẩn là:

    • Sai
    • Thiếu
    • Không nhất quán

  • Do lỗi con người, sự cố kỹ thuật, hoặc vấn đề trong quy trình thu thập

  • Nguyên tắc “rác vào, rác ra”: dữ liệu bẩn dẫn tới kết luận sai

Cửa sổ bẩn

Nhập môn Năng lực Dữ liệu

Lỗi dữ liệu

  • Dữ liệu sai hoặc không nhất quán
  • Thường do lỗi con người hoặc kỹ thuật khi ghi giá trị hay định dạng
  • Cách xử lý:
    • Biết giá trị gốc hoặc định dạng hợp lệ: sửa dữ liệu
    • Nếu không biết: loại bỏ dữ liệu

Trò ghép hình với mảnh ghép sai

Nhập môn Năng lực Dữ liệu

Thiếu dữ liệu

  • Dữ liệu bị thiếu
  • Gây vấn đề khi:
    • Nhiều điểm dữ liệu bị thiếu
    • Thiếu theo một quy luật tiềm ẩn
  • Cách xử lý:
    • Loại bỏ dữ liệu
    • Bù (imputation)

Trò ghép hình thiếu một mảnh

Nhập môn Năng lực Dữ liệu

Thiên kiến dữ liệu

  • Thiên kiến xã hội có thể phản ánh thành thiên kiến dữ liệu
  • Dẫn đến dữ liệu và kết quả không đại diện
  • Khó phát hiện và khắc phục
  • Cách đối phó:
    • Quy trình thu thập dữ liệu chuẩn
    • Nêu rõ trong kết luận
    • Mô hình AI có khả năng giải thích

Trò ghép hình màu xám thiếu các mảnh trắng

Nhập môn Năng lực Dữ liệu

Làm sạch dữ liệu

  • Tập kỹ thuật để xử lý vấn đề dữ liệu
  • Bước chuẩn bị quan trọng cho mọi phân tích
  • Không phải mọi vấn đề đều (hoàn toàn) giải quyết được
  • Luôn có thể thực hiện một dạng phân tích nào đó

Bàn tay đeo găng cầm bình xịt

Nhập môn Năng lực Dữ liệu

Ayo berlatih!

Nhập môn Năng lực Dữ liệu

Preparing Video For Download...