Ràng buộc kiểu dữ liệu

Làm sạch dữ liệu trong R

Maggie Matsui

Content Developer @ DataCamp

Tổng quan khóa học

Máy chủ với kính lúp và "chẩn đoán dữ liệu bẩn"

Tổng quan khóa học

Máy chủ với lỗi bọ và "tác dụng phụ của dữ liệu bẩn"

Tổng quan khóa học

CSDL tròn với chổi và tia sáng cho dữ liệu sạch

Tổng quan khóa học

Chẩn đoán dữ liệu bẩn, tác dụng phụ của dữ liệu bẩn, và làm sạch dữ liệu bẩn

Chương 1 - Các vấn đề dữ liệu thường gặp

Vì sao cần dữ liệu sạch?

Quy trình KH dữ liệu: truy cập, khám phá & xử lý, rút trích insight, báo cáo insight

Vì sao cần dữ liệu sạch?

Lỗi do con người và kỹ thuật

Vì sao cần dữ liệu sạch?

Lỗi lan truyền trong quy trình làm việc

Ràng buộc kiểu dữ liệu

Kiểu dữ liệu	Ví dụ
Văn bản	Tên, họ, địa chỉ, ...
Số nguyên	Số thuê bao, # sản phẩm bán, ...
Số thập phân	Nhiệt độ, tỷ giá, ...
Nhị phân	Đã kết hôn, khách mới, có/không, ...
Phân loại	Tình trạng hôn nhân, màu sắc, ...
Ngày	Ngày đặt hàng, ngày sinh, ...

Kiểu dữ liệu R
`character`
`integer`
`numeric`
`logical`
`factor`
`Date`

Xem nhanh kiểu dữ liệu

sales <- read.csv("sales.csv")
head(sales)

  order_id revenue quantity
1     7432   5,454      494
2     7808   5,668      334
3     4893   4,062      259
4     6107   3,936       15
5     7661   1,067      307
6     5908   6,635      235

library(dplyr)
glimpse(sales)

Observations: 100
Variables: 3
$ order_id <dbl> 7432, 7808, ...
$ revenue  <chr> "$5454", "$5668", ...
$ quantity <dbl> 494, 334, ...

Kiểm tra kiểu dữ liệu

is.numeric(sales$revenue)

FALSE

library(assertive)
assert_is_numeric(sales$revenue)

Error: is_numeric : sales$revenue is not of class 'numeric'; it has class 'character'.

assert_is_numeric(sales$quantity)

Kiểm tra kiểu dữ liệu

Kiểm tra logic - trả về TRUE/FALSE

is.character()
is.numeric()
is.logical()
is.factor()
is.Date()
...

Kiểm tra với assertive - báo lỗi khi FALSE

assert_is_character()
assert_is_numeric()
assert_is_logical()
assert_is_factor()
assert_is_date()
...

Vì sao kiểu dữ liệu quan trọng?

class(sales$revenue)

"character"

mean(sales$revenue)

NA
Warning message:
In mean.default(sales$revenue) :
  argument is not numeric or logical: returning NA

Vấn đề dấu phẩy

sales$revenue

"5,454" "5,668" "4,062" "3,936" "1,067" ...

Chuỗi sang số

library(stringr)
revenue_trimmed = str_remove(sales$revenue, ",")

revenue_trimmed

"5454" "5668" "4062" "3936" "1067" ...

as.numeric(revenue_trimmed)

5454 5668 4062 3936 1067 ...

Ghép các bước lại

sales %>%
  mutate(revenue_usd = as.numeric(str_remove(revenue, ",")))

# A tibble: 100 x 4
   order_id revenue quantity revenue_usd
      <dbl> <chr>      <dbl>       <dbl>
 1     7432 5,454        494        5454
 2     7808 5,668        334        5668
 3     4893 4,062        259        4062
 4     6107 3,936         15        3936
 5     7661 1,067        307        1067
# ... with 95 more rows

Cùng hàm, kết quả khác nhau

mean(sales$revenue)

NA
Warning message:
In mean.default(sales$revenue) :
  argument is not numeric or logical: returning NA

mean(sales$revenue_usd)

5361.4

Chuyển đổi kiểu dữ liệu

as.character()
as.numeric()
as.logical()
as.factor()
as.Date()
...

Cẩn thận: factor sang numeric

product_type

1000 1000 3000 2000 3000
Levels: 1000 2000 3000

class(product_type)

"factor"

as.numeric(product_type)

1 1 3 2 3

as.numeric(as.character(product_type))

1000 1000 3000 2000 3000

Ayo berlatih!

Làm sạch dữ liệu trong R