Очищення даних

Концепції Data Warehousing

Aaren Stubberfield

Data Scientist

План відео

• Перегляд форматів даних
• Розбір адрес
• Валідація даних
• Усунення дублікатів

Очищення формату даних

• Приведіть значення до очікуваного формату
  • Дати
  • Назви опцій
  • Регістр літер
• Забезпечує узгоджений формат виходу

Приклад даних таксі

Розбір адреси

• Поділ поштової адреси на складники
• Можна використовувати інструменти для перевірки адрес

Адреса
1234 S Normal St, Cleveland, OH 44102

Адреса	Місто	Штат	Індекс
1234 S Normal St	Cleveland	OH	44102

Валідація даних

• Перевірка діапазону
  • Чи значення в очікуваному діапазоні?
  • Приклад: вік людини

• Перевірка типу
  • Чи правильний тип даних у значення?
  • Приклад: вік як рядок vs число

Видалення дубльованих рядків

• Цей процес усуває дублікати записів

Управління даними

Давайте потренуємось!

Концепції Data Warehousing