Datatypsbegränsningar

Datarensning i R

Maggie Matsui

Content Developer @ DataCamp

Kursöversikt

Server med förstoringsglas och "diagnose dirty data"

Datarensning i R

Kursöversikt

Server med skalbagge och "side effects of dirty data"

Datarensning i R

Kursöversikt

Rund databas med kvast och glitter för ren data

Datarensning i R

Kursöversikt

Diagnostisera smutsig data, bieffekter av smutsig data och rensa smutsig data

Kapitel 1 - Vanliga dataproblem

Datarensning i R

Varför behöver vi ren data?

 

Datavetenskapligt arbetsflöde: hämta data, utforska och bearbeta data, extrahera insikter, rapportera insikter

Datarensning i R

Varför behöver vi ren data?

 

Mänskliga och tekniska fel

Datarensning i R

Varför behöver vi ren data?

 

Fel sprids genom arbetsflödet

Datarensning i R

Datatypsbegränsningar

Datatyp Exempel
Text Förnamn, efternamn, adress, ...
Heltal Antal prenumeranter, sålda produkter, ...
Decimal Temperatur, växelkurs, ...
Binär Gift, ny kund, ja/nej, ...
Kategori Civilstånd, färg, ...
Datum Orderdatum, födelsedatum, ...
R-datatyp
character
integer
numeric
logical
factor
Date
Datarensning i R

Granska datatyper med glimpse

sales <- read.csv("sales.csv")
head(sales)

  order_id revenue quantity
1     7432   5,454      494
2     7808   5,668      334
3     4893   4,062      259
4     6107   3,936       15
5     7661   1,067      307
6     5908   6,635      235

library(dplyr)
glimpse(sales)

Observations: 100
Variables: 3
$ order_id <dbl> 7432, 7808, ...
$ revenue  <chr> "$5454", "$5668", ...
$ quantity <dbl> 494, 334, ...
Datarensning i R

Kontrollera datatyper

is.numeric(sales$revenue)

FALSE

library(assertive)
assert_is_numeric(sales$revenue)

Error: is_numeric : sales$revenue is not of class 'numeric'; it has class 'character'.

assert_is_numeric(sales$quantity)
Datarensning i R

Kontrollera datatyper

Logisk kontroll – returnerar TRUE/FALSE

  • is.character()
  • is.numeric()
  • is.logical()
  • is.factor()
  • is.Date()
  • ...

assertive-kontroll – fel när FALSE

  • assert_is_character()
  • assert_is_numeric()
  • assert_is_logical()
  • assert_is_factor()
  • assert_is_date()
  • ...
Datarensning i R

Varför spelar datatypen roll?

class(sales$revenue)

"character"

mean(sales$revenue)

NA
Warning message:
In mean.default(sales$revenue) :
  argument is not numeric or logical: returning NA
Datarensning i R

Problem med kommatecken

sales$revenue

"5,454" "5,668" "4,062" "3,936" "1,067" ...
Datarensning i R

Från text till tal

library(stringr)
revenue_trimmed = str_remove(sales$revenue, ",")

revenue_trimmed

"5454" "5668" "4062" "3936" "1067" ...

as.numeric(revenue_trimmed)

5454 5668 4062 3936 1067 ...
Datarensning i R

Sätta ihop det

sales %>%
  mutate(revenue_usd = as.numeric(str_remove(revenue, ",")))

# A tibble: 100 x 4
   order_id revenue quantity revenue_usd
      <dbl> <chr>      <dbl>       <dbl>
 1     7432 5,454        494        5454
 2     7808 5,668        334        5668
 3     4893 4,062        259        4062
 4     6107 3,936         15        3936
 5     7661 1,067        307        1067
# ... with 95 more rows
Datarensning i R

Samma funktion, olika resultat

mean(sales$revenue)

NA
Warning message:
In mean.default(sales$revenue) :
  argument is not numeric or logical: returning NA

mean(sales$revenue_usd)

5361.4
Datarensning i R

Konvertera datatyper

  • as.character()
  • as.numeric()
  • as.logical()
  • as.factor()
  • as.Date()
  • ...
Datarensning i R

Tänk på: faktor till tal

product_type

1000 1000 3000 2000 3000
Levels: 1000 2000 3000

class(product_type)

"factor"

as.numeric(product_type)

1 1 3 2 3

as.numeric(as.character(product_type))

1000 1000 3000 2000 3000
Datarensning i R

Nu kör vi en övning!

Datarensning i R

Preparing Video For Download...