Dọn dẹp và chuẩn bị dữ liệu là gì?

Chuẩn Bị Dữ Liệu trong Alteryx

Deanna Sanchez

Alteryx ACE and Owner, Nova Geographica LLC

Vì sao dữ liệu sạch quan trọng?

GIGO: "Garbage In, Garbage Out"

• Làm sạch và chuẩn bị dữ liệu giúp bạn:
  • Tránh sai sót và ngăn lỗi
  • Chuẩn hóa dữ liệu và định dạng
  • Tăng năng suất
  • Rút ngắn thời gian ra insight

Làm sạch dữ liệu giống như...

Bảo dưỡng xe - Tối ưu xe với linh kiện sạch và dung dịch mới giúp tăng hiệu suất.

 

Ví dụ về dữ liệu bẩn

• Dữ liệu thiếu hoặc không đầy đủ

Ví dụ về dữ liệu bẩn

• Dữ liệu thiếu hoặc không đầy đủ
• Dữ liệu không chuẩn hóa hoặc không nhất quán

Ví dụ về dữ liệu bẩn

• Dữ liệu thiếu hoặc không đầy đủ
• Dữ liệu không chuẩn hóa hoặc không nhất quán
• Lỗi nhập liệu

Ví dụ về dữ liệu bẩn

• Dữ liệu thiếu hoặc không đầy đủ
• Dữ liệu không chuẩn hóa hoặc không nhất quán
• Lỗi nhập liệu
• Khoảng trắng đầu/cuối, ký tự hoặc dấu câu không cần thiết

Kỹ thuật làm sạch dữ liệu

Xử lý dữ liệu thiếu

• Gắn cờ dữ liệu thiếu bằng cách điền giá trị, như:
  • Chuyển null thành rỗng cho kiểu chuỗi
  • Điền null thành 0 cho kiểu số
• Lọc bỏ dữ liệu thiếu khỏi luồng dữ liệu

Kỹ thuật làm sạch dữ liệu

Chuẩn hóa dữ liệu

• Đảm bảo định dạng
  • Thêm $ cho tiền tệ
  • 000123456
• Kiểm tra quy ước đặt tên cho trường và tệp
  • "filename_01012004.csv"
• Chỉnh chữ hoa/thường trong trường
  • LOCATION
• Chỉnh kiểu dữ liệu

Kỹ thuật làm sạch dữ liệu

Loại bỏ phần thừa

• Khoảng trắng đầu/cuối
• Tab và xuống dòng
• Hàng/cột không cần thiết
• Dấu câu, chữ, số thừa

Hồ sơ có mã màu

Phối màu trong cửa sổ Results và Profile hướng dẫn cách dùng kỹ thuật làm sạch dữ liệu.

• Xanh lá = OK

Hồ sơ có mã màu

Phối màu trong cửa sổ Results và Profile hướng dẫn cách dùng kỹ thuật làm sạch dữ liệu.

• Xanh lá = OK
• Trắng = Duy nhất

Hồ sơ có mã màu

Phối màu trong cửa sổ Results và Profile hướng dẫn cách dùng kỹ thuật làm sạch dữ liệu.

• Xanh lá = OK
• Trắng = Duy nhất
• Vàng = Null

Hồ sơ có mã màu

Phối màu trong cửa sổ Results và Profile hướng dẫn cách dùng kỹ thuật làm sạch dữ liệu.

• Xanh lá = OK
• Trắng = Duy nhất
• Vàng = Null
• Đỏ = Not OK (ví dụ: khoảng trắng cuối)

Hồ sơ có mã màu

Phối màu trong cửa sổ Results và Profile hướng dẫn cách dùng kỹ thuật làm sạch dữ liệu.

• Xanh lá = OK
• Trắng = Duy nhất
• Vàng = Null
• Đỏ = Not OK (ví dụ: khoảng trắng cuối)
• Xám = Trống

Kiểu dữ liệu trong Alteryx

• Cần nắm các kiểu dữ liệu
  • Cách và khi nào dùng
• Năm nhóm chính
  • Boolean - định dạng nhị phân

Kiểu dữ liệu trong Alteryx

• Cần nắm các kiểu dữ liệu
  • Cách và khi nào dùng
• Năm nhóm chính
  • Boolean - định dạng nhị phân
  • Numeric - dữ liệu số, gồm Double

Kiểu dữ liệu trong Alteryx

• Cần nắm các kiểu dữ liệu
  • Cách và khi nào dùng
• Năm nhóm chính
  • Boolean - định dạng nhị phân
  • Numeric - dữ liệu số, gồm Double
  • String - dữ liệu văn bản

¹ String, từ String đến các loại V_W String.

Kiểu dữ liệu trong Alteryx

• Cần nắm các kiểu dữ liệu
  • Cách và khi nào dùng
• Năm nhóm chính
  • Boolean - định dạng nhị phân
  • Numeric - dữ liệu số, gồm Double
  • String - dữ liệu văn bản
  • DateTime - dữ liệu ngày giờ

Kiểu dữ liệu trong Alteryx

• Cần nắm các kiểu dữ liệu
  • Cách và khi nào dùng
• Năm nhóm chính
  • Boolean - định dạng nhị phân
  • Numeric - dữ liệu số, gồm Double
  • String - dữ liệu văn bản
  • DateTime - dữ liệu ngày giờ
  • Spatial - đối tượng và điểm không gian

Chi tiết bộ dữ liệu

• Bài tập thực hành Alteryx:
  • Giao dịch bất động sản New York City
  • Một bộ dữ liệu cho mọi bài tập
  • Phân tích các giao dịch cao nhất

Ayo berlatih!

Chuẩn Bị Dữ Liệu trong Alteryx