Chuẩn bị dữ liệu

Tìm hiểu về Khoa học Dữ liệu

Hadrien Lacroix

Content Developer, DataCamp

Quy trình dữ liệu

quy trình khoa học dữ liệu

Tìm hiểu về Khoa học Dữ liệu

Vì sao cần chuẩn bị dữ liệu?

  • Dữ liệu thực tế thường lộn xộn
  • Chuẩn bị để tránh:
    • lỗi
    • kết quả sai
    • làm chệch thuật toán

chuẩn bị súp

Tìm hiểu về Khoa học Dữ liệu

Bắt đầu làm sạch

Sara Lis Hadrien Lis
Age "27" "30" "30"
Size 1.77 5.58 1.80 5.58
Country "Belgium" "USA" "FR" "USA"

dụng cụ cạo làm sạch cửa sổ

Tìm hiểu về Khoa học Dữ liệu

Dữ liệu gọn gàng

Trước

$$

Sara Lis Hadrien Lis
Age "27" "30" "30"
Size 1.77 5.58 1.80 5.58
Country "Belgium" "USA" "FR" "USA"

đồ giặt gấp gọn

Tìm hiểu về Khoa học Dữ liệu

Đầu ra dữ liệu gọn

Trước

$$

Sara Lis Hadrien Lis
Age "27" "30" "30"
Size 1.77 5.58 1.80 5.58
Country "Belgium" "USA" "FR" "USA"

Sau

$$

Name Age Size Country
Sara "26" 1.78 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Lis "30" 5.58 "USA"
Tìm hiểu về Khoa học Dữ liệu

Xóa trùng lặp

Trước

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Lis "30" 5.58 "USA"

anh đào đôi

Tìm hiểu về Khoa học Dữ liệu

Xóa trùng lặp | đầu ra

Trước

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Lis "30" 5.58 "USA"

Sau

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Tìm hiểu về Khoa học Dữ liệu

ID duy nhất

Trước

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"

vịt tím giữa vịt vàng

Tìm hiểu về Khoa học Dữ liệu

ID duy nhất | đầu ra

Trước

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"

Sau

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 5.58 "USA"
2 Hadrien 1.80 "FR"
Tìm hiểu về Khoa học Dữ liệu

Tính đồng nhất

Trước

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 5.58 "USA"
2 Hadrien 1.80 "FR"

cá vàng nhỏ đối mặt cá vàng lớn

Tìm hiểu về Khoa học Dữ liệu

Tính đồng nhất | đầu ra

Trước

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 5.58 "USA"
2 Hadrien 1.80 "FR"

Sau

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 1.70 "USA"
2 Hadrien 1.80 "FR"
Tìm hiểu về Khoa học Dữ liệu

Tính đồng nhất, tiếp

Trước

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 1.70 "USA"
2 Hadrien 1.80 "FR"

cờ Bỉ

Tìm hiểu về Khoa học Dữ liệu

Tính đồng nhất, tiếp | đầu ra

Trước

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"

Sau

$$

ID Name Age Size Country
0 Sara "27" 1.77 "BE"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"
Tìm hiểu về Khoa học Dữ liệu

Kiểu dữ liệu

Trước

$$

ID Name Age Size Country
0 Sara "27" 1.77 "BE"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"

các loại pasta khác nhau

Tìm hiểu về Khoa học Dữ liệu

Kiểu dữ liệu | đầu ra

Trước

$$

ID Name Age Size Country
0 Sara "27" 1.77 "BE"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"

Sau

$$

ID Name Age Size Country
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "US"
2 Hadrien 1.80 "FR"
Tìm hiểu về Khoa học Dữ liệu

Giá trị thiếu

Trước

$$

ID Name Age Size Country
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "US"
2 Hadrien 1.80 "FR"

Lý do:

  • nhập liệu
  • lỗi
  • thiếu hợp lệ

Giải pháp:

  • bù (impute)
  • loại bỏ
  • giữ nguyên
Tìm hiểu về Khoa học Dữ liệu

Giá trị thiếu | đầu ra

Trước

$$

ID Name Age Size Country
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "USA"
2 Hadrien 1.80 "FR"

Sau

$$

ID Name Age Size Country
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "US"
2 Hadrien 28 1.80 "FR"
Tìm hiểu về Khoa học Dữ liệu

Ayo berlatih!

Tìm hiểu về Khoa học Dữ liệu

Preparing Video For Download...