Обмеження типів даних

Очищення даних в R

Maggie Matsui

Content Developer @ DataCamp

Опис курсу

Сервер із лупою та «діагностика брудних даних»

Опис курсу

Сервер із жучком і «побічні ефекти брудних даних»

Опис курсу

Кругла база даних із віничком і блискітками — чисті дані

Опис курсу

Діагностика брудних даних, побічні ефекти та очищення даних

Розділ 1 — Типові проблеми з даними

Навіщо потрібні чисті дані?

Процес Data Science: доступ до даних, дослідження й обробка, отримання інсайтів, звітування

Навіщо потрібні чисті дані?

Людські та технічні помилки

Навіщо потрібні чисті дані?

Помилки поширюються по всьому процесу

Обмеження типів даних

Тип даних	Приклад
Текст	Ім'я, прізвище, адреса, ...
Ціле	Кількість підписників, # проданих товарів, ...
Десяткове	Температура, курс обміну, ...
Бінарне	Одружений, новий клієнт, так/ні, ...
Категорія	Сімейний стан, колір, ...
Дата	Дати замовлень, дата народження, ...

Тип даних в R
`character`
`integer`
`numeric`
`logical`
`factor`
`Date`

Огляд типів даних

sales <- read.csv("sales.csv")
head(sales)

  order_id revenue quantity
1     7432   5,454      494
2     7808   5,668      334
3     4893   4,062      259
4     6107   3,936       15
5     7661   1,067      307
6     5908   6,635      235

library(dplyr)
glimpse(sales)

Observations: 100
Variables: 3
$ order_id <dbl> 7432, 7808, ...
$ revenue  <chr> "$5454", "$5668", ...
$ quantity <dbl> 494, 334, ...

Перевірка типів даних

is.numeric(sales$revenue)

FALSE

library(assertive)
assert_is_numeric(sales$revenue)

Error: is_numeric : sales$revenue is not of class 'numeric'; it has class 'character'.

assert_is_numeric(sales$quantity)

Перевірка типів даних

Логічна перевірка — повертає TRUE/FALSE

is.character()
is.numeric()
is.logical()
is.factor()
is.Date()
...

Перевірка з assertive — помилка, коли FALSE

assert_is_character()
assert_is_numeric()
assert_is_logical()
assert_is_factor()
assert_is_date()
...

Чому тип даних має значення?

class(sales$revenue)

"character"

mean(sales$revenue)

NA
Warning message:
In mean.default(sales$revenue) :
  argument is not numeric or logical: returning NA

Проблеми з комами

sales$revenue

"5,454" "5,668" "4,062" "3,936" "1,067" ...

З тексту в число

library(stringr)
revenue_trimmed = str_remove(sales$revenue, ",")

revenue_trimmed

"5454" "5668" "4062" "3936" "1067" ...

as.numeric(revenue_trimmed)

5454 5668 4062 3936 1067 ...

Об'єднуємо кроки

sales %>%
  mutate(revenue_usd = as.numeric(str_remove(revenue, ",")))

# A tibble: 100 x 4
   order_id revenue quantity revenue_usd
      <dbl> <chr>      <dbl>       <dbl>
 1     7432 5,454        494        5454
 2     7808 5,668        334        5668
 3     4893 4,062        259        4062
 4     6107 3,936         15        3936
 5     7661 1,067        307        1067
# ... with 95 more rows

Одна функція — різні результати

mean(sales$revenue)

NA
Warning message:
In mean.default(sales$revenue) :
  argument is not numeric or logical: returning NA

mean(sales$revenue_usd)

5361.4

Перетворення типів даних

as.character()
as.numeric()
as.logical()
as.factor()
as.Date()
...

Обережно: `factor` у `numeric`

product_type

1000 1000 3000 2000 3000
Levels: 1000 2000 3000

class(product_type)

"factor"

as.numeric(product_type)

1 1 3 2 3

as.numeric(as.character(product_type))

1000 1000 3000 2000 3000

Давайте потренуємось!

Очищення даних в R