Підготовка даних

Розуміння Data Science

Hadrien Lacroix

Content Developer, DataCamp

Робочий процес даних

робочий процес data science

Розуміння Data Science

Навіщо готувати дані?

  • Дані з реального світу неохайні
  • Підготовка потрібна, щоб уникнути:
    • помилок
    • некоректних результатів
    • викривлення алгоритмів

приготування супу

Розуміння Data Science

Почнімо очищення

Sara Lis Hadrien Lis
Age "27" "30" "30"
Size 1.77 5.58 1.80 5.58
Country "Belgium" "USA" "FR" "USA"

шкребок — миття вікна

Розуміння Data Science

Охайні дані

До

$$

Sara Lis Hadrien Lis
Age "27" "30" "30"
Size 1.77 5.58 1.80 5.58
Country "Belgium" "USA" "FR" "USA"

складена білизна

Розуміння Data Science

Вивід охайних даних

До

$$

Sara Lis Hadrien Lis
Age "27" "30" "30"
Size 1.77 5.58 1.80 5.58
Country "Belgium" "USA" "FR" "USA"

Після

$$

Name Age Size Country
Sara "26" 1.78 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Lis "30" 5.58 "USA"
Розуміння Data Science

Видаліть дублікати

До

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Lis "30" 5.58 "USA"

подвійна вишня

Розуміння Data Science

Видаліть дублікати | вивід

До

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Lis "30" 5.58 "USA"

Після

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Розуміння Data Science

Унікальний ID

До

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"

фіолетова качка серед жовтих

Розуміння Data Science

Унікальний ID | вивід

До

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"

Після

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 5.58 "USA"
2 Hadrien 1.80 "FR"
Розуміння Data Science

Однорідність

До

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 5.58 "USA"
2 Hadrien 1.80 "FR"

мала золота рибка навпроти великої

Розуміння Data Science

Однорідність | вивід

До

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 5.58 "USA"
2 Hadrien 1.80 "FR"

Після

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 1.70 "USA"
2 Hadrien 1.80 "FR"
Розуміння Data Science

Знову однорідність

До

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 1.70 "USA"
2 Hadrien 1.80 "FR"

прапор Бельгії

Розуміння Data Science

Знову однорідність | вивід

До

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"

Після

$$

ID Name Age Size Country
0 Sara "27" 1.77 "BE"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"
Розуміння Data Science

Типи даних

До

$$

ID Name Age Size Country
0 Sara "27" 1.77 "BE"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"

різні види пасти

Розуміння Data Science

Типи даних | вивід

До

$$

ID Name Age Size Country
0 Sara "27" 1.77 "BE"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"

Після

$$

ID Name Age Size Country
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "US"
2 Hadrien 1.80 "FR"
Розуміння Data Science

Пропущені значення

До

$$

ID Name Age Size Country
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "US"
2 Hadrien 1.80 "FR"

Причини:

  • введення даних
  • помилка
  • коректна відсутність значення

Рішення:

  • імпутувати
  • видалити
  • залишити
Розуміння Data Science

Пропущені значення | вивід

До

$$

ID Name Age Size Country
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "USA"
2 Hadrien 1.80 "FR"

Після

$$

ID Name Age Size Country
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "US"
2 Hadrien 28 1.80 "FR"
Розуміння Data Science

Давайте потренуємось!

Розуміння Data Science

Preparing Video For Download...