Очистка данных

Концепции хранилищ данных

Aaren Stubberfield

Data Scientist

План видео

Приведение значений к ожидаемому формату
- Даты
- Названия параметров
- Регистр букв
Обеспечивает единообразие выходных данных

Пример: данные о такси

Две таблицы, объединённые в одну

Адрес
1234 S Normal St, Cleveland, OH 44102

Адрес	Город	Штат	Индекс
1234 S Normal St	Cleveland	OH	44102

Проверка диапазона
- Находится ли значение в допустимом диапазоне?
- Пример: возраст человека

Проверка типа
- Соответствует ли значение нужному типу данных?
- Пример: возраст как строка или число

Таблица с колонкой Age, в первой строке которой стоит 300 — помечено как недопустимое значение.

Таблица с тремя колонками, где Age имеет тип данных string — помечено как недопустимое.

Две таблицы с двумя колонками для объединения

Итоговая объединённая таблица без дублирующейся строки

Иллюстрация нормативно-правового соответствия

Концепции хранилищ данных