Подготовка данных

Понимание науки о данных

Hadrien Lacroix

Content Developer, DataCamp

Рабочий процесс с данными

рабочий процесс в науке о данных

Понимание науки о данных

Зачем готовить данные?

  • Реальные данные бывают «грязными»
  • Подготовка позволяет избежать:
    • ошибок
    • неверных результатов
    • искажений в алгоритмах

приготовление супа

Понимание науки о данных

Начинаем очистку

Sara Lis Hadrien Lis
Age "27" "30" "30"
Size 1.77 5.58 1.80 5.58
Country "Belgium" "USA" "FR" "USA"

скребок для мытья окон

Понимание науки о данных

Аккуратные данные

До

$$

Sara Lis Hadrien Lis
Age "27" "30" "30"
Size 1.77 5.58 1.80 5.58
Country "Belgium" "USA" "FR" "USA"

сложенное бельё

Понимание науки о данных

Аккуратные данные: результат

До

$$

Sara Lis Hadrien Lis
Age "27" "30" "30"
Size 1.77 5.58 1.80 5.58
Country "Belgium" "USA" "FR" "USA"

После

$$

Name Age Size Country
Sara "26" 1.78 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Lis "30" 5.58 "USA"
Понимание науки о данных

Удаление дубликатов

До

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Lis "30" 5.58 "USA"

двойная вишня

Понимание науки о данных

Удаление дубликатов: результат

До

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Lis "30" 5.58 "USA"

После

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Понимание науки о данных

Уникальный идентификатор

До

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"

фиолетовая утка среди жёлтых уток

Понимание науки о данных

Уникальный идентификатор: результат

До

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"

После

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 5.58 "USA"
2 Hadrien 1.80 "FR"
Понимание науки о данных

Однородность

До

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 5.58 "USA"
2 Hadrien 1.80 "FR"

маленькая золотая рыбка рядом с большой

Понимание науки о данных

Однородность: результат

До

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 5.58 "USA"
2 Hadrien 1.80 "FR"

После

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 1.70 "USA"
2 Hadrien 1.80 "FR"
Понимание науки о данных

Однородность: продолжение

До

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 1.70 "USA"
2 Hadrien 1.80 "FR"

бельгийский флаг

Понимание науки о данных

Однородность: продолжение | результат

До

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"

После

$$

ID Name Age Size Country
0 Sara "27" 1.77 "BE"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"
Понимание науки о данных

Типы данных

До

$$

ID Name Age Size Country
0 Sara "27" 1.77 "BE"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"

разные виды пасты

Понимание науки о данных

Типы данных: результат

До

$$

ID Name Age Size Country
0 Sara "27" 1.77 "BE"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"

После

$$

ID Name Age Size Country
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "US"
2 Hadrien 1.80 "FR"
Понимание науки о данных

Пропущенные значения

До

$$

ID Name Age Size Country
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "US"
2 Hadrien 1.80 "FR"

Причины:

  • ввод данных
  • ошибка
  • допустимое отсутствие значения

Решения:

  • заполнить
  • удалить
  • оставить
Понимание науки о данных

Пропущенные значения: результат

До

$$

ID Name Age Size Country
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "USA"
2 Hadrien 1.80 "FR"

После

$$

ID Name Age Size Country
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "US"
2 Hadrien 28 1.80 "FR"
Понимание науки о данных

Давайте потренируемся!

Понимание науки о данных

Preparing Video For Download...