Единообразие

Очистка данных в R

Maggie Matsui

Content Developer @ DataCamp

Единообразие

Разные единицы или форматы
- Температура: °C vs. °F
- Масса: kg vs. g vs. lb
- Деньги: USD $ vs. GBP £ vs. JPY ¥
- Дата: DD-MM-YYYY vs. MM-DD-YYYY vs. YYYY-MM-DD

Откуда берутся проблемы с единообразием?

Слева — три базы данных со стрелками, указывающими на одну таблицу данных (несколько источников). Справа — текстовое поле с курсором и компьютер с клавиатурой (ошибки ввода).

Обнаружение проблем с единообразием

head(nyc_temps)

         date temp
1  2019-04-01  4.2
2  2019-04-02  7.5
3  2019-04-03 12.2
4  2019-04-04 11.1
5  2019-04-05 41.5
6  2019-04-06 11.9

Обнаружение проблем с единообразием

library(ggplot2)
ggplot(nyc_temps, aes(x = date, y = temp)) +
  geom_point()

График, построенный кодом. Три значения температуры явно значительно выше остальных.

Что делать?

Универсального решения нет. Всё зависит от вашего набора данных!
Изучите происхождение данных

График, построенный кодом. Три значения температуры явно значительно выше остальных.

Данные за 7, 16 и 23 апреля получены из внешнего источника, где температура измерялась в °F

Перевод единиц

$$\text{C} = (\text{F} - 32) \times \frac{5}{9}$$

ifelse(condition, value_if_true, value_if_false)

nyc_temps %>%
  mutate(temp_c = ifelse(temp > 50, (temp - 32) * 5 / 9, temp))

         date temp   temp_c
1  2019-04-01  4.2  4.20000
...
7  2019-04-07 58.5 14.72222
...

Перевод единиц

nyc_temps %>%
  mutate(temp_c = ifelse(temp > 50, (temp - 32) * 5 / 9, temp)) %>%
  ggplot(aes(x = date, y = temp_c)) +
    geom_point()

График, построенный кодом. На этот раз явных выбросов нет — значения были преобразованы.

Единообразие дат

nyc_temps

             date temp_c
1      2019-11-23   5.12
2        01/15/19  -0.67
3  April 24, 2019  17.46
4        08/30/19  26.46
5 October 3, 2019  14.63
6      2019-03-17   3.47

Строка даты	Формат `Date`
`"2019-11-23"`	`"%Y-%m-%d"`
`"01/15/19"`	`"%m/%d/%y"`
`"April 24, 2019"`	`"%B %d, %Y"`

?strptime в консоли R

Разбор нескольких форматов

library(lubridate)
parse_date_time(nyc_temps$date,
                orders = c("%Y-%m-%d", "%m/%d/%y", "%B %d, %Y"))

"2019-11-23 UTC" "2019-01-15 UTC" "2019-04-24 UTC" "2019-08-30 UTC"
"2019-10-03 UTC" "2019-03-17 UTC"

parse_date_time("Monday, January 3",
                orders = c("%Y-%m-%d", "%m/%d/%y", "%B %d, %Y"))

NA

Неоднозначные даты

02/04/2019 — это февраль или апрель?

Зависит от ваших данных!

Варианты действий:

Считать значение пропущенным
Если данные из нескольких источников — определить по источнику
Определить на основе других данных в наборе

Давайте потренируемся!

Очистка данных в R